Flink kafka source源码解析:非checkpoint模式下offset的提交

本文深入探讨Flink Kafka source在非checkpoint模式下如何处理offset提交,包括自动提交和非自动提交的条件及流程。分析了offsetCommitMode的设置,以及Flink在非checkpoint模式下不调用consumer.commitAsync()的原因,强调了关闭自动提交可能导致的数据重复消费问题。
摘要由CSDN通过智能技术生成

在上一篇文章《Flink kafka source源码解析:Flink如何和原生Kafka连接起来?》中讲到用户添加Kafka Source Function后,是如何告诉Kafka去消费topic的。本篇文章接着讲,Flink告诉Kafka去消费,消费一段时间后,是如何处理已消费的offset的?checkpoint是如何和提交的offset交互的?

本文先讲非checkpoint模式下offset 的提交流程。

消费 kafka topic 最为重要的部分就是对 offset 的管理,对于 kafka 提交 offset 的机制,可以参考 kafka 官方网。

初始化 offsetCommitMode

在 flink kafka source 中 offset 的提交模式有3种:

public enum OffsetCommitMode {
   

   /** Completely disa
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Flink新版的KafkaSource API中,可以通过设置`enableCheckpointing`属性来开启FlinkCheckpoint机制。在Checkpoint时,KafkaSource会自动提交偏移量到Kafka的__consumer_offsets主题以便后续恢复。具体来说,可以按照以下步骤进行操作: 1. 在创建KafkaSource时,通过`enableCheckpointing`方法设置启用Checkpoint机制,并设置Checkpoint的间隔时间和模式,例如: ```java FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>( "my-topic", new SimpleStringSchema(), properties); consumer.setCommitOffsetsOnCheckpoints(true); consumer.setStartFromEarliest(); consumer.setEnableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE); ``` 2. 在执行Checkpoint时,KafkaSource会自动提交当前的消费偏移量到Kafka的__consumer_offsets主题中,以便后续的恢复。可以通过`setCommitOffsetsOnCheckpoints`方法设置是否在Checkpoint提交偏移量,默认为true。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(10000); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.addSource(consumer) .map(new MyMapper()) .addSink(new MySink()); env.execute("Flink KafkaSource Example"); ``` 在上述代码中,我们开启了FlinkCheckpoint机制,并设置了Checkpoint的时间间隔为10秒,模式为EXACTLY_ONCE。同时,我们也设置了KafkaSourceCheckpoint提交偏移量到Kafka的__consumer_offsets主题中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱,希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值