记一次Flink写入Kafka坑点

王知无(import_bigdata)

已于 2022-07-11 21:22:16 修改

阅读量782

点赞数

分类专栏： Flink系统性学习专栏文章标签： kafka flink big data

于 2021-08-29 11:52:32 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119978789

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

在Flink任务中，遇到写入Kafka数据仅部分分区有数据的问题。通过分析发现，原因是FlinkKafkaProducer011的分区策略与设置的并行度和Kafka主题分区数不匹配。解决方案包括调整并行度、指定key或自定义FlinkKafkaPartitioner。最终采取设置FlinkKafkaPartitioner为空和serializeKey返回null的策略，成功使所有分区接收到数据。

摘要由CSDN通过智能技术生成

最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下：

val kafkaProducer: FlinkKafkaProducer011[String] = new FlinkKafkaProducer011[String](
        sinkTopic, new StringKeyedSerializationSchema,producerConfig, sinkSemantic)
      ds.addSink(kafkaProducer).setParallelism(sinkParallelism)

其中StringKeyedSerializationSchema是自定义的实现KeyedSerializationSchema的序列化器，用于序列化写入kafka的key/value, 任务也上线了，在flink web页面看到任务各项指标一切正常，也测试消费写入kafka的数据，得到的结果也如预期一样，想着万事大吉了，so easy~ 过了一会kafka中间件的同事找过来说：你这个写入topic的数据怎么只有这几个分区，其他分区都没有数据写入

什么情况？任务看着一切都ok啊，怎么就有分区没有数据写入呢？马上google一下数据写入kafka的分区策略：