flink写入kafka默认只写到一个partition

如题使用flink FlinkKafkaProducer0* 时,有一个最常用,也是官方例子的构造方法 有三个参数如下

/**
* @param topicId
*        ID of the Kafka topic.
* @param serializationSchema
*        User defined key-less serialization schema.
* @param producerConfig
*        Properties with the producer configuration.
*/
public FlinkKafkaProducer010(String topicId, SerializationSchema<T> serializationSchema, Properties producerConfig) {
   this(topicId, new KeyedSerializationSchemaWrapper<>(serializationSchema), producerConfig, new FlinkFixedPartitioner<T>());
}

运行一段时间后发现所有的数据都写到一个kafka的partition了,这样就不能发挥kafka的并行能力。于是去阅读官方文档发现

官方文档中描述大概意思是

“默认情况下,如果没有为Flink Kafka生成器指定自定义分区器,那么该生成器将使用一个FlinkFixedPartitioner将每个Flink Kafka生成器的并行子任务映射到单个Kafka分区(即,接收子任务接收到的所有记录最终将位于相同的Kafka分区中)。如果没有指定自定义分区程序,则使用FlinkFixedPartitioner。“

如果kafka的partition和和flink 算子的并行度刚好数量一致则没问题,不然就会出现上诉问题。

于是找到找到一个重载方法设置FlinkFixedPartitioner。

new FlinkKafkaProducer010<>(topic, new SimpleStringSchema(), config, (FlinkKafkaPartitioner)null);
public FlinkKafkaProducer010(
      String topicId,
      SerializationSchema<T> serializationSchema,
      Properties producerConfig,
      @Nullable FlinkKafkaPartitioner<T> customPartitioner) {

   this(topicId, new KeyedSerializationSchemaWrapper<>(serializationSchema), producerConfig, customPartitioner);
}

有兴趣的同学可以跟到源码里面去看看flink 是怎么样分配数据去哪个partition的

FlinkFixedPartitioner

 

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值