Flink 容错机制

最新推荐文章于 2024-07-20 07:15:00 发布
最新推荐文章于 2024-07-20 07:15:00 发布
阅读量196 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29342297/article/details/113698491
版权
本文深入探讨了Flink的容错机制，包括一致性检查点、从检查点恢复状态的详细过程，以及检查点算法的原理。此外，还介绍了保存点（SavePoint）的用途，如手动备份、应用更新和版本迁移等。
摘要由CSDN通过智能技术生成

Flink 容错机制

一致性检查点(checkpoint)

在这里插入图片描述

  • Flink 故障恢复机制的核心，就是应用状态的一致性检查点
  • 有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝(一份快照);这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候

从检查点恢复状态

在这里插入图片描述

  • 在执行流应用程序期间，Flink会定期保存状态的一致检查点
  • 如果发生故障，Flink将会使用最近的检查点来一致恢复应用程序的状态，并重新启动处理流程

在这里插入图片描述

  • 遇到故障之后，第一步就是重启应用

在这里插入图片描述

  • 第二步是从checkpoint中读取状态，将状态重置
  • 从检查点重新启动应用程序后，其内部状态与检查点完成时的状态完全相同。

在这里插入图片描述

  • 第三步：开始消费并处理检查点到发生故障之间的所有数据
  • 这种检查点的保存和恢复机制可以为应用程序状态提供"精确一次"(exactly-once)的一致性，因为所有算子都会保存检查点并恢复其所有状态，这样一来所有的输入流就都会被重置到检查点完成时的位置。

检查点算法

Flink使用的是基于Chandy-Lamport算法的分布式快照

最低0.47元/天 解锁文章
腹黑客
关注
专栏目录
（十七）Flink 容错机制
springk的专栏
08-25 561
对于不间断 24 小时运行的程序来说，容错至关重要。Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。 本章我们针对 Checkpoint、Savepoint、作业重启调度策略做详细介绍
Flink的容错机制
huahuaxiaoshao的博客
05-15 918
1 状态一致性       当在分布式系统中引入状态时，自然引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系.统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？ 1.1 基本概念       有状态的流处理，内部
【Flink】（八）容错机制
云祁QI
05-31 881
Flink 具体如何保证 exactly-once 呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。
Flink-Checkpoint机制详解：(第41天)
最新发布
syhiiu的博客
07-20 2766
本文通过案例方式详解-Flink-Checkpoint机制。
Flink容错机制
m0_57697768的博客
06-18 1516
Flink数据传输状态一致性，Checkpoint的设置，数据容错机制
大数据-玩转数据-Flink 容错机制
s_unbo的博客
09-10 900
在分布式架构中，当某个节点出现故障，其他节点基本不受影响。在 Flink 中，有一套完整的容错机制，最重要就是检查点（checkpoint）。
【Flink】容错机制
qq_30885821的博客
03-28 1974
目录容错机制检查点检查点的保存从检查点恢复状态检查点算法检查点配置保存点savepoint状态一致性一致性的概念和级别端到端的状态一致性端到端精准一次输入端保证输出端保证Flink和Kafka连接时的精准一次性保证 容错机制 检查点 检查点的保存 定期存盘，将状态保存到检查点。 保存的时间点： source数据源处记录一个offset，当所有子任务都处理完同一个offset处的数据的时候触发checkpoint保存。每个子任务之间保存快照的具体时间可能不太一样。 从检查点恢复状态 如果发生故障，Flink
Flink——容错机制
weixin_40693633的博客
12-25 708
Flink的容错机制 概述 Flink容错的核心机制就是持续地创建分布式数据流及其状态的一致性快照，。当系统遇到故障时，比如（机器，网络，软件等），重启所有的算子，回退到checkpoint（检查点），确保程序的每一条记录只会作用准确一次(exactly-once )的语义，也可以选择配置成至少一次(at-least-once ) 注意： 为了容错机制生效，数据源（例如 queue 或者 brok...
Flink中的容错机制
Hola
01-22 1463
如果出现故障，我们恢复到之前保存的状态，故障时正在处理的所有数据都需要重新处理；我们只需要让源（source）任务向数据源重新提交偏移量、请求重放数据就可以了(即重新将故障时的数据读入Flink)。当然这需要源任务可以把偏移量作为算子状态保存下来，而且外部数据源能够重置偏移量；
flink 容错机制
少年阿宏
07-30 293
Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。 从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。 state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink Job，在一个特定时刻的一份全局状态快照，即包含了所有task/operator的状态。 Flink通过定期.
Apache Flink容错机制和流处理技术详解
Flink 提供了一个数据流容错机制，能够一致性恢复数据流应用的状态。该机制能够保证出现错误的情况下，应用的状态仍旧可以最终精确性唯一地从数据流反映每一个数据记录。 **StreamBarriers** Flink 提供了一个 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值