Flink中checkpoint和savepoint的区别

最新推荐文章于 2023-12-21 22:18:18 发布
最新推荐文章于 2023-12-21 22:18:18 发布
阅读量363 收藏
点赞数
文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cherry_caocao/article/details/124980696
版权

（1）什么是checkpoint

checkpoint是一种分布式快照，它在某个时刻，对一个flink任务的所有作业做一个快照，并将快照存储下来，这样在任务进行故障恢复的时候，就会从故障前最近一个检查点的状态恢复，从而保证数据的一致性。

（2）什么是savepoint

savepoint是基于检查点机制创建的作业执行状态的全局镜像，可用于Flink的重启、停止及升级等。它由两部分构成，一是在稳定存储中（如hdfs、S3等）保存了二进制文件的目录，二是元数据文件。这些文件表示了作业执行状态的镜像，其中元数据文件主要保存了以绝对路径表示的指针。


（3）checkpoint和savepoint的区别

checkpointsavepoint
触发方式自动触发手动触发
功能任务发生异常时自动恢复数据

版本升级、代码修改、参数调整等

特点轻量级，作业关闭默认自动删除重量级，数据持久化，除非用户手动删除

cherry_caocao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 ...
flink 关于checkpoint 疑虑 1
08-04
背景flink 集群模式 flink on yarn使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的
Flink之checkpoint和savepoint的区别
鸡排小农的博客
03-23 4028
1.什么是Checkpoint Checkpoint：一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。 用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。 (1)checkpoint
Flink CheckPoint 与 SavePoint 区别
qq_27242695的博客
06-29 715
CheckPoint 与 SavePoint 区别 概念 1. checkpoint checkpoint主要目的是在意外作业失败的情况下提供一个恢复机制。checkpoint的生命周期由Flink管理，也就是说，checkpoint由Flink创建、拥有和释放–无需用户互动。由于checkpoint经常被触发，并被用于故障恢复，checkpoint实现的两个主要设计目标是：尽可能轻量级地创建和尽可能快速地恢复。对这些目标的优化可以利用某些属性，例如，工作代码在执行尝试之间不会改变。 在flink任务故障
flink savepoint 和 checkpoint对比
cbb
03-09 2612
flink 设计checkpoint为什么还要设计savepoint？ Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting（简称 ABS）算法实现分布式快照的，都可以确保一致性、容错、故障恢复。 1.什么是 Checkpoint？ Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。Flink Ch
flink（十三）：flink-CheckPoint和SavePoint作用和区别
幻神舞的专栏
07-09 1427
文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结 分享 大数据博客列表 说明 本博客周五更新一次 Flink 功能模块CheckPoint（检查点）和SavePoint（保存点）是任务异常后恢复任务的重要功能，当任务异常关闭时，可以从检查点或保存点恢复任务。 CheckcPoint CheckPoint是 flink 实现容错机制最核心的功能，
[1143]Flink的Checkpoint和Savepoint
周小董
05-21 4203
文章目录Flink的Checkpoint和Savepoint介绍第一部分：Flink的Checkpoint1\. Flink Checkpoint原理介绍2\. Checkpoint的简单设置3. 保存多个Checkpoint4.从Checkpoint进行恢复Checkpoint1、checkpointConfig2、barrier第二部分： Flink的Savepoint1.Flink的Savepoint原理介绍2.创建Savepoint3.从Savepoint恢复4. Savepoint目录结构flin
Flink Unaligned Checkpoint 在 Shopee 的优化和实践.pdf
03-21
Flink Unaligned Checkpoint 在 Shopee 的优化和实践
Flink 中文文档资料.zip
最新发布
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
flink中文教程.zip
03-02
flink中文教程： 目录： 概念 教程 例子 应用开发 部署与运营 调试和监控 IDE开发 内幕
Flink学习 - 8. Checkpoint 与 Savepoint 区别
jerome520zl的博客
01-10 777
Flink学习 - 8. Checkpoint 与 Savepoint 区别CheckpointSavepointSavepoint 与 Checkpoint 的区别 Checkpoint CheckPoint可以理解为： 将State状态数据持久化，注意这个CheckPoint是在同一时间点 Task/Operator的状态的全局快照。 CheckPoint是Flink在输入的数据集上间隔性的生...
Flink检查点（checkpoint）、保存点（savepoint）的区别与联系
雾岛与鲸的博客
02-20 1070
checkpoint和savepoint是Flink为我们提供的作业快照机制，它们都包含有作业状态的持久化副本。用几句话总结一下。checkpoint的侧重点是“容错”，即Flink作业意外失败并重启之后，能够直接从早先打下的checkpoint恢复运行，且不影响作业逻辑的准确性。而savepoint的侧重点是“维护”，即Flink作业需要在人工干预下手动重启、升级、迁移或A/B测试时，先将状态整体写入可靠存储，维护完毕之后再从savepoint恢复现场。
savepoint和checkpoint的区别
MingZiWoChiLe的博客
03-02 2337
checkpoint是flink job定期做的检测点，savepoint是停止job时人为指定的保存状态目录 savepoint中的状态更新一些
Flink Savepoint 和 Checkpoint 使用
yang灬仔
03-17 4638
flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是作业容错自动恢复，轻量，自动周期管理 savepoint 用户手动执行，是指向Checkpoint的指针，不会过期 在升级的情况下使用，特点关注状态数据可以移植性，状态数据生成和恢复成本高，用户手动管理 注意：为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级，强烈推荐程序员通过 uid(String) 方法手动的给
Flink 学习八 Flink 容错机制 & checkpoint & savepoint
weixin_44244088的博客
06-20 2098
flink checkpoint savepoint 基础概念和使用
Flink系列之：Checkpoints 与 Savepoints
zhengzaifeidelushang的博客
12-21 1396
从概念上讲，Flink 的 savepoints 与 checkpoints 的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期 由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。
Flink CheckPoint和SavePoint
weixin_45181338的博客
01-18 442
Flink CheckPoint和SavePoint
Flink之 SavePoint & Checkpoint
shufangreal的博客
05-04 494
SavePoint & Checkpoint savepoint和checkpoint都是flink为容错提供的强大功能特性，能够自动或手动保存job的运行状态 两者区别 checkpoint： 应用定时触发，用户保存状态，会过期，内部应用失败重启的时候启用，但是手动cancel时，会删除之前的checkpoint savepoint： 用户手动置顶，相当于状态的备份，可以在bin/fli...
Flink checkPoint和SavePoint
程序员路同学
06-19 1327
savepoint和checkpoint都是flink为容错提供的强大功能特性，能够自动或手动保存job的运行状态checkpoint：应用定时触发，用户保存状态，会过期，内部应用失败重启的时候启用，但是手动cancel时，会删除之前的checkpointsavepoint：用户手动置顶，相当于状态的备份，可以在bin/flink cancel xx的时候调用，一般用于修改并行度，程序升级等等。如果想要在程序停掉后重启，数据一致的情况下，强烈推荐使用cancel时做savepoint，当然如果程序中没有涉及
flinkcdc checkpoint 和 savepoint
05-27
而 Checkpoint 和 Savepoint 是 Flink 中的两个重要概念，用于容错和恢复。 Checkpoint 是指将 Flink 中的状态数据定期保存到持久化存储中，以便在发生故障时进行恢复。Checkpoint 可以通过配置时间间隔或数据量等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值