Flink 1.10消费kafka topic 设置偏移量的几种方式

最新推荐文章于 2024-11-05 23:15:25 发布

马斯特杨

最新推荐文章于 2024-11-05 23:15:25 发布

阅读量4.1k

点赞数 1

分类专栏： kafka flink 文章标签： flink kafka

本文链接：https://blog.csdn.net/weixin_42993799/article/details/106433047

版权

本文详细介绍了Flink 1.10中消费Kafka topic的四种方式，包括指定topic和partition offset、从初始数据开始、根据时间戳开始以及从最新数据开始。强调了group.id参数和auto.offset.reset属性的作用，并指出在有状态算子情况下恢复策略的重要性。

摘要由CSDN通过智能技术生成

标题

默认：从topic中指定的group上次消费的位置开始消费。

所以必须配置group.id参数从消费者组提交的偏移量开始读取分区（kafka或zookeeper中）。如果找不到分区的偏移量，auto.offset.reset将使用属性中的设置。如果是默认行为(setStartFromGroupOffsets),那么任务从检查点重启，按照重启前的offset进行消费，如果直接重启不从检查点重启并且group.id不变，程序会按照上次提交的offset的位置继续消费。如果group.id改变了，则程序按照auto.offset.reset设置的属性进行消费。但是如果程序带有状态的算子，还是建议使用检查点重启。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.enableCheckpointing(5000);
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
env.setParallelism(1);

Properties props = new Properties();
props.