从盘古开天辟地说起为什么 Flink CP 能实现精确一次?(下)

本文详细介绍了分布式应用全局一致性快照算法,包括Chandy-Lamport算法和Flink的实现。通过对比分析,揭示了Flink如何基于异步快照算法实现精确一次的状态管理,以及与Chandy-Lamport算法的异同,为读者深入理解Flink的Checkpoint机制提供了清晰的路径。
摘要由CSDN通过智能技术生成

为什么我要把这段话放在最前面呢?因为博主有了大发现,博主在总结学习的过程中,总结了除了 Flink CP、Chandy-Lamport 全局一致性快照算法之外的一种 通用全局一致性快照算法!!!。

这套 通用算法 包含 Chandy-Lamport 算法Flink 非对齐 CP 算法 包含 Flink 对齐 CP 算法

可能这一套 通用算法 之前已经有人提过了,但是博主是自己在总结 Flink CP、Chandy-Lamport 算法的过程中,逆推总结出来的,并没有借助外力!!!

1.前言

对于很多做离线或者实时数仓的小伙伴来说,我先问几个问题,看看小伙伴萌能回答上来吗?

  1. ⭐ 你知道状态是什么吗?在离线数据开发的经历中,你碰到过状态的概念吗?

  2. ⭐ 为什么离线数仓不需要状态,实时数据开发中老是提到状态的概念?

  3. ⭐ Flink 中的状态、状态后端、全局一致性快照(Checkpoint\Savepoint) 的作用都是什么,这三个概念的关联又是什么?

  4. ⭐ Flink 是通过什么机制来做 Checkpoint 的?为什么这套机制能够做到故障恢复呢?

  5. ⭐ Flink Checkpoint 是基于 Chandy-Lamport 算法的,但是 Flink 的实现相比 Chandy-Lamport 算法之间又有哪些优点、缺点?

  6. ⭐ Flink Checkpoint 用到了 barrier,为什么用了 barrier 做的快照就能保证全局一致性快照的正确性?barrier 到底起到了什么作用?

  7. ⭐ Flink 对齐 Checkpoint 和非对齐 Checkpoint 的区别是什么?非对齐 Checkpoint 也能保障精确一次吗?

小伙伴们思考一下,都能回答上来么,如果对于某些问题你还有疑问,楼主会通过本篇文章帮你解答这些问题,理清这些概念!

由于本文内容较多,所以博主将本文分为三集,本文是,三集内容是有连接关系的,如果小伙伴在看本文的过程中对有些概念不清楚,可以跳转到上文进行查看:

其中上集介绍了关于状态以及做状态管理能为我们的生产提供什么样的帮助。

[

图片

从盘古开天辟地说起为什么 Flink CP 能实现精确一次?(上)

](https://mp.weixin.qq.com/s?__biz=MzkxNjA1MzM5OQ==&mid=2247492764&idx=1&sn=5e0f9756f99d855c0dece03c6a06f030&chksm=c1576864f620e172e8ea66a19847024c973322db8023eeb2dd8d2bcec3e39ee9684fc3b1d6e5&scene=21#wechat_redirect)

中集介绍了一个分布式应用的全局一致性快照包含的内容以及Flink Checkpoint 的 barrier 是干啥用的,为啥使用 barrier 就能做出来一个全局一致性的快照。

[

图片

从盘古开天辟地说起为什么 Flink CP 能实现精确一次?(中)

](https://mp.weixin.qq.com/s?__biz=MzkxNjA1MzM5OQ==&mid=2247492809&idx=1&sn=d47a3cc058498cadd243856d89a6a520&am

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值