Flink消费kafka数据并行度设置多少比较合理?
最近一个朋友问我的问题,Flink消费kafka数据的时候,并行度设置多少比较合理呢? 假如消费多个topic,又该怎么设置呢?要弄明白这个问题首先你要知道Flink消费kafka数据的时候,Flink的并行度和topic的partition是什么关系?那我们就来简单的看一下源码,FlinkKafkaConsumer的源码比较多,就不从头开始看了,直接看相关部分的代码KafkaTopicPartitionAssigner这个类里面的assign方法.
源码分析
上面的这个方法就是决定Kafka分区应分配给的目标子任务的索引,换句话说就是决定kafka的topic的数据应该分配到哪一个Flink的subtask上去.
这段代码的主要的逻辑是对topic的名称取hashcode值,然后和最大的整型数(INT_MAX)做了一个与(&)运算然后在加上分区(partition)的编号,最后再除以并行度就得到了Flink的subtask的值.
可能大家还不是很理解,接下来看一段伪代码就明白了
我们把Flink消费kafka分3种情况
1,paritition > Flink并行度
2,paritition = Flink并行度
3,paritition < Flink并行度
1,假设topic有10个partition Flink的并行度设置的是5
public class Test {
private final static int partition