Flink流连接器之Kafka【二】【Kafka Offset设置、容错、主题和分区动态发现】

最新推荐文章于 2024-07-16 07:45:00 发布

神之凝视

最新推荐文章于 2024-07-16 07:45:00 发布

阅读量1.4k

点赞数

分类专栏： Flink Kafka 流计算文章标签： flink kafka

本文链接：https://blog.csdn.net/qq_27600723/article/details/107109523

版权

本文深入探讨了Flink Kafka Consumer在处理Kafka offset配置、容错机制以及主题和分区动态发现的细节。讨论了如何设置Kafka offset的起始位置，包括从组偏移、最早/最新记录开始，以及从特定时间戳或偏移量开始。此外，还阐述了Flink检查点如何用于消费者的容错，以及如何启用和配置分区发现。最后，文章介绍了Kafka消费者抵消承诺行为的配置，特别是在检查点启用与否的情况下的不同处理方式。

摘要由CSDN通过智能技术生成

一.Kafka offset 配置

Flink Kafka Consumer可以配置Kafka分区的起始位置。
代码：

//获取数据源 kafka
val consumer : FlinkKafkaConsumer09[String] = new FlinkKafkaConsumer09[String](
 "spark", new SimpleStringSchema(), properties
)
//val hashMap : util.Map[KafkaTopicPartition, java.lang.Long] = new util.HashMap[KafkaTopicPartition, java.lang.Long]()
consumer.setStartFromEarliest() // 尽可能从最早的记录开始消费
consumer.setStartFromLatest() // 从最新的记录开始消费
consumer.setStartFromGroupOffsets() // 根据组的offset位置开始消费
//consumer.setStartFromTimestamp(milliseconds) // 在kafka0.9中去掉
consumer.setStartFromSpecificOffsets(new util.HashMap[KafkaTopicPartition, java.lang.Long]

最低0.47元/天解锁文章

神之凝视

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Flink流连接器之Kafka【二】【Kafka Offset设置、容错、主题和分区动态发现】

一.Kafka offset 配置Flink Kafka Consumer可以配置Kafka分区的起始位置。代码：//获取数据源 kafkaval consumer : FlinkKafkaConsumer09[String] = new FlinkKafkaConsumer09[String]( "spark", new SimpleStringSchema(), properties)//val hashMap : util.Map[KafkaTopicPartition, java.la
复制链接

扫一扫

专栏目录