python flink kafka_Flink with Kafka

最新推荐文章于 2024-12-12 17:35:33 发布

嘿bro

最新推荐文章于 2024-12-12 17:35:33 发布

阅读量575

点赞数

文章标签： python flink kafka

本文链接：https://blog.csdn.net/weixin_29093017/article/details/112020095

版权

本文详细介绍了Apache Flink如何管理Kafka消费者的offset，通过六个步骤展示了Flink从Kafka消费数据并进行checkpoint的过程，确保在故障恢复时能够实现精确一次的处理。Flink-Kafka连接器保证事件的exactly-once交付，同时避免了由于背压产生的问题，具有高吞吐量，便于应用开发者使用。

摘要由CSDN通过智能技术生成

How Apache Flink manages Kafka consumer offsets

Step 1：

例子：一个kafka topic，有两个partition，每个含有"A,B,C,D,E"信息。offset从0开始。

Step 1

Step 2:

第二步，kafka consumer开始从partition 0开始读取信息，"A"正在处理，第一个consumer的offset变成了1。

Step 2

Step 3:

第三步，“A”到达了Flink Map Task。每个consumer继续读取他们下一个记录(partition 0读取“B”，partition 1读取“A”)。各自更新offset，同时Job Master开始触发checkpoint。

Step 3

Step 4:

接下来，kafka consumer已经创建他们的状态快照(“offset = 2, 1”)，存在了Job Master。Source从partition 0和1分别发出“B”和“A”后面发出了checkpoint barrier。在operator task中对barriers进行align操作，保证了一致性。消息A到达Flink Map Task，而上面的consumer继续读取下一个记录(消息“C”)。

Step 4

Step 5:

当 Flink Map Task 从sources接收到了全部的checkpoint barriers(同一版本的barrier)，那么就会checkpoint他的state到Job Master里面。同时，consumers继续读取记录。

Step 5

Step 6:

当所有的task报告完成了他们的state checkpoint后，那么Job Master就会完成这个版本的checkpont。那么这个checkpoint就可以用于故障恢复了。值得一提的是，Apache Flink并不依赖于kafka的offsets来从潜在的系统故障中恢复。