硬核!一文搞懂Flink的checkPoint的exactly-once(好文收藏)
Flink的checkPoint原理1.知识前置Flink检查点算法:检查点分界线(Checkpoint Barrier)Flink 的检查点算法用到了一种称为分界线(barrier)的特殊数据形式,用来把一条流上数据按照不同的检查点分开。2.正文开始*2.1.*JobManager 会向每个 source 任务发送一条带有新检查点 ID 的消息,通过这种方式来启动检查点,检查点分界线由 source 算子注入到常规的数据流中,它的位置是限定好的,不能超过其他数据,也不能被后面的数据超过。*2
原创
2021-06-14 09:19:44 ·
628 阅读 ·
0 评论