【Flink】Flink 小知识点 Flink 同时 保存 offset 到backend 和 kafka 内置 topic
在FLink官网中有一点,这里如下Flink Kafka Consumer允许配置如何将偏移量提交回Kafka broker的行为。注意,Flink Kafka消费者并不依赖于提交的偏移量来保证容错。承诺的补偿只是一种为了监控目的而暴露消费者进展的手段(可见将消费信息写入到kafka内置topic是为了便于监控,这一点我以前是傻傻的看消费组状态,时常获取不到消费组信息)。配置偏移提交行为的方法是不同的,这取决于作业是否启用了检查点。
复制链接