从盘古开天辟地说起为什么 Flink CP 能实现精确一次?(上)

本文深入探讨了Flink中的状态、全局一致性快照(Checkpoint/Savepoint)及其关联。通过解释状态的定义和案例,阐述了全局一致性快照的重要性,包括在故障恢复和死锁检测中的应用。文章介绍了Flink如何借助barrier实现全局一致性快照,同时提到了Chandy-Lamport算法的相关讨论,但完整的实现方案将在下篇中继续展开。
摘要由CSDN通过智能技术生成

1.前言

对于很多做离线或者实时数仓的小伙伴来说,我先问几个问题,看看小伙伴萌能回答上来吗?

  1. ⭐ 你知道状态是什么吗?在离线数据开发的经历中,你碰到过状态的概念吗?

  2. ⭐ 为什么离线数仓不需要状态,实时数据开发中老是提到状态的概念?

  3. ⭐ Flink 中的状态、状态后端、全局一致性快照(Checkpoint\Savepoint) 的作用都是什么,这三个概念的关联又是什么?

  4. ⭐ Flink 是通过什么机制来做 Checkpoint 的?为什么这套机制能够做到精确一次呢?

  5. ⭐ Flink Checkpoint 是基于 Chandy-Lamport 算法的,但是 Flink 的实现相比 Chandy-Lamport 算法之间又有哪些优点、缺点?

  6. ⭐ Flink Checkpoint 用到了 barrier,为什么用了 barrier 做的快照就能保证全局一致性快照的正确性?barrier 到底起到了什么作用?

小伙伴们思考一下,都能回答上来么,如果对于某些问题你还有疑问,楼主会通过本篇文章帮你解答这些问题,理清这些概念!

由于本文内容较多,所以博主将本文分为两集,本别在两天发出。

我们先来看看博主整理的本文介绍思路以及博主希望大家在看完每一小节之后能够学到的内容

  1. ⭐ 什么是状态?

希望小伙伴萌能够发散思维的去思考状态,状态这个概念不仅仅只限于 Flink 的状态,状态是一个无处不在的东西

  1. ⭐ 什么是全局一致性快照?其和状态的管理?

举一些状态、全局一致性快照的一些生活、工作中应用的例子,希望大家大家学习到全局一致性快照 = 一个应用某一时刻(瞬间)所有事物所处状态的合集,两者是包含关系

  1. ⭐ 为什么需要全局一致性快照?

希望大家学习到有了全局一致性快照能帮助我们做故障恢复、<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值