Flink的Checkpointing机制

最新推荐文章于 2024-05-07 09:54:04 发布
最新推荐文章于 2024-05-07 09:54:04 发布
阅读量5.3k 收藏 6
点赞数 1
分类专栏： 大数据 # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/86601948
版权
大数据 同时被 2 个专栏收录
38 篇文章 11 订阅 ¥29.90 ¥99.00
订阅专栏
Flink
16 篇文章 1 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看

目录

先决条件

启用和配置检查点

选择状态的后端存储（State Backend）

迭代式作业中的状态检查点（State Checkpoints in Iterative Jobs）

重启策略（Restart Strategies）

Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。

为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。

关于流容错的文档 详细介绍了Flink流容错机制的技术。

先决条件

Flink的检查点机制与流和状态的持久化存储交互，一般来说该机制需要：

  • 持久化的数据source，它可以在一定时间内重放事件。这种数据sources的典型例子是持久化的消息队列（比如Apache Kafka，RabbitMQ，Amazon Kinesis，Google PubSub）或文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）。
  • 用于状态的持久化存储器，通常是分布式文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）

启用和配置检查点

默认情况下&#

了解本专栏 订阅专栏 解锁全文
大数据技术派
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink的容错机制第四篇 checkpoint触发机制
lishinho的博客
05-25 7457
一，checkpoint的配置 默认checkpoint功能是disabled的，想要使用的时候需要先启用checkpoint开启之后，默认的checkPointMode是Exactly-once。 官方配置代码如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();...
Flink可靠性的基石-checkpoint机制详细解析
c123m的专栏
04-05 985
Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport algorithm”算法。 每个需要checkpoint的应用在启动时，Flink的JobManager为其创建一个CheckpointCoordinator(检查点协调器)，CheckpointCoor.
flink的Checkpoint开启与配置
热门推荐
Er_fengV的博客
09-02 1万+
Key Default Type Description state.backend.incremental false Boolean Option whether the state backend should create incremental checkpoints, if possible. For an incremental checkpoint, only a diff from the previous checkpoint is stored, rather than the com
17、Flink 的 Checkpointing 配置详解
最新发布
猫猫爱吃小鱼粮
05-07 1235
Flink 的 Checkpointing 配置详解
Flink 容错机制 保存点和检查点
Mogeko1的博客
01-17 1917
Flink 容错机制 保存点和检查点 启用与恢复
Flink的容错机制（checkpoint）
MaJinCheng0506的博客
10-09 797
Flink的容错机制--checkpoint checkpoint容错机制是Filink可靠的基石，可以保证Flink集群在某个算子因为某种原因推出，所导致的故障，能够在整个应用流图的状态恢复到故障之前的某个状态，从而保证流图的一致性，Flink的checkpoint机制来源于Chandy-Lamport algorithm”算法。 checkpoin的应用在启动时，flink的JobManager会创建一个CheckpointCoordinator（检查点调节器），检查点调节器会负责整体的快照制作。
Flink 生产环境配置建议
chanyue123的博客
03-15 7970
讲解flink 上生产的一些建议配置项
分布式Snapshot和Flink Checkpointing简介.docx
05-20
Flink的Checkpointing机制是在Chandy-Lamport算法的基础上进行优化和扩展的。Flink是一个高性能的流处理框架，它支持有界和无界数据流的处理。在Flink中，Checkpointing是保证容错性和数据一致性的关键特性。它定期...
flink2.zip
02-19
这个版本的源码提供了一窥 Flink 内部机制的机会，对于开发者来说，深入理解源码可以帮助我们更好地优化应用，解决可能出现的问题。在本文中，我们将主要围绕 Flink 的核心组件、数据流模型以及如何在 Mac 上进行...
flink资料分享
11-06
9. "9、Druid数据存储与写入.pdf"：这部分深入到Druid的数据存储机制，包括数据段的构建和加载，以及如何从Flink或其他源向Druid写入数据。 10. "10、Druid实践介绍.pdf"：这份文档可能包含Druid在实际业务中的具体...
flink学习.rar
03-01
3. 窗口机制：窗口是Flink处理数据流的一种方式，允许用户按照时间、数量或其他自定义条件对数据进行分组和聚合。 4. 有状态计算：Flink允许在处理过程中保存中间结果，即状态，这使得它可以实现复杂的流式计算。 ...
flink 1.7源码
04-10
- **checkpointing**：定期保存系统状态以实现容错，Flink 1.7 提供了一种异步的、分布式快照的机制。 4. **窗口操作** - **Tumbling Windows**：固定大小且不重叠的窗口。 - **Sliding Windows**：滑动窗口，...
Flink学习 - 9. Checkpoint使用方式
jerome520zl的博客
01-13 3057
Flink学习 - 9. Checkpoint使用方式checkpoint 开启checkpoint 模式checkpoint存储位置实例代码启动程序碰到的问题 checkpoint 开启 默认的checkpoint是关闭的，需要使用的使用要优先开启 开启方式： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecu...
关于Flink Checkpoint 参数详解
weixin_42178377的博客
08-24 389
保存状态。
Flink基础（九）：Checkpoint的说明和用法
weixin_42155491的博客
04-02 5881
Checkpoint 在 Flink 中是一个非常重要的 Feature，Checkpoint 使 Flink 的状态具有良好的容错性，通过 Checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 介绍及使用 Flink 的 Checkpoint 有以下先决条件： 需要具有持久性且支持重放一定时间范围内数据的数据源。例如：Kafka、RabbitMQ ...
flink sql checkpoint 调优配置
wangqiaowq的博客
08-21 3362
`execution.checkpointing.externalized-checkpoint-retention`: 外部化检查点的保留策略。- `execution.checkpointing.tolerable-failed-checkpoints`: 允许的连续失败检查点的最大数量。- `execution.checkpointing.max-concurrent-checkpoints`: 并发生成检查点的最大数量。如果设置为`true`，则检查点将在作业的所有任务完成之前生成。
深入理解Flink中的状态实现
u013939918的博客
07-01 317
state的层次结构 keyedState => windowState OperatorState => kafkaOffset stateBackend snapshot/restore internalTimerService RocksDB操作的初探 state ttL state local recovery QueryableState increamental checkpoint state redistribution broadcasting stat
Flink - sink时使用Timer定时器踩的坑
qq_22498427的博客
03-17 3850
背景描述： 从kafka消费的数据落到Hbase中，源表的数据量较大，因此采用了mutator缓存1000条，或者累积1秒后，一起put。避免短时间内大量访问hbase regionServer，把hbase 干废了。 由于mutator的flush操作是在invoke()方法中触发的，而invoke方法只在数据达到sink算子时，才会被触发。因此在夜间数据比较稀疏时，数据的时效性取决于两条数据到达的时间间隔。 为解决这个问题，在open函数中初始化了一个Timer定时器，设置每秒中调用一次Invok
Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像； Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理，即 Flink 创建，管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建，拥有和删除。 他们的用例是计划的，手动备份和恢复。 Savepoint 应用场景，升级 Flink 版本，调整用户逻辑，改变并行度，以及进行红蓝部署等。 Savepoint 更多地关注可移植性。。。怎么记。。
05-18
可以这样记忆：Checkpoint 是 Flink 内部自动创建的用于恢复故障的状态备份，Savepoint 则是由用户手动创建的用于备份和迁移作业状态的镜像。Checkpoint 生命周期由 Flink 管理，而 Savepoint 由用户掌控。Savepoint...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值