【Flink实战系列】Flink 消费 kafka 并行度设置多少合理(kafka 的 partition 和 Flink 的 subtask 对应关系) ?

Flink消费kafka数据并行度设置多少比较合理?

最近一个朋友问我的问题,Flink消费kafka数据的时候,并行度设置多少比较合理呢? 假如消费多个topic,又该怎么设置呢?要弄明白这个问题首先你要知道Flink消费kafka数据的时候,Flink的并行度和topic的partition是什么关系?那我们就来简单的看一下源码,FlinkKafkaConsumer的源码比较多,就不从头开始看了,直接看相关部分的代码KafkaTopicPartitionAssigner这个类里面的assign方法.

源码分析

上面的这个方法就是决定Kafka分区应分配给的目标子任务的索引,换句话说就是决定kafka的topic的数据应该分配到哪一个Flink的subtask上去.

这段代码的主要的逻辑是对topic的名称取hashcode值,然后和最大的整型数(INT_MAX)做了一个与(&)运算然后在加上分区(partition)的编号,最后再除以并行度就得到了Flink的subtask的值.

可能大家还不是很理解,接下来看一段伪代码就明白了

我们把Flink消费kafka分3种情况

1,paritition > Flink并行度

2,paritition = Flink并行