Flink CheckPoint和SavePoint的区别是什么？

最新推荐文章于 2024-07-05 14:27:53 发布
最新推荐文章于 2024-07-05 14:27:53 发布
阅读量175 收藏
点赞数
分类专栏： 大数据知识点 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24186017/article/details/126342768
版权

目标：从概念上讲，Flink的Savepoint和Checkpoint的不同之处很像传统数据库中备份与恢复日志之间的区别。Checkpoint的主要目标是充当Flink中的恢复机制，确保能从潜在的故障中恢复。相反，Savepoint的主要目标是充当手动备份、恢复暂停作业的方法。

实现：Checkpoint和Savepoint在实现上也有不同。Checkpoint被设计成轻量和快速的机制。他们可能(但不一定必须)利用底层状态后端的不同功能尽可能地快速地恢复数据。例如，基于RocksDB状态后端地增量检查点，能够加速RocksDB的checkpoint过程，这使得checkpoint机制变得更加轻量。相反，Savepoint旨在更多地关注数据的可移植性，并支持对作业做任何更改而状态能保持兼容，这使得生成和恢复成本更高。

生命周期：Checkpoint是自动和定期地，他们由Flink自动地周期性地创建和删除，无需用户地交互。相反，Savepoint由用户手动管理(调度、创建、删除)

 

Adobee Chen
关注
专栏目录
Flink中Checkpoint和Savepoint的区别
penriver的博客
09-16 733
1 概念 1.1 Checkpoint In order to make state fault tolerant, Flink needs to checkpoint the state. Checkpoints allow Flink to recover state and positions in the streams to give the application the same semantics as a failure-free execution. 为了使状态容错，Flink需要对状态
Flink Checkpoint 与SavePoint 剖析
默硕的博客
04-08 135
默认情况下，如果设置了Checkpoint选项，则Flink只保留最近成功生成的1个Checkpoint，而当Flink程序失败时，可以从最近的这个Checkpoint来进行恢复。Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断全局，一致性快照。Flink可以支持保留多个Checkpoint，需要在Flink的配置文件conf/flink-conf.yaml中，添加如下配置，指定最多需要保存Checkpoint的个数。SavePoint 剖析。
flink savepoint 和 checkpoint对比
cbb
03-09 2670
flink 设计checkpoint为什么还要设计savepoint？ Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting（简称 ABS）算法实现分布式快照的，都可以确保一致性、容错、故障恢复。 1.什么是 Checkpoint？ Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。Flink Ch
Flink Checkpoints 与 Savepoints
最新发布
SunTecTec
07-05 1046
从概念上讲，Flink 的savepoints与的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。
Flink之checkpoint和savepoint的区别
鸡排小农的博客
03-23 4214
1.什么是Checkpoint Checkpoint：一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。 用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。 (1)checkpoint
Flink CheckPoint 与 SavePoint 区别
qq_27242695的博客
06-29 800
CheckPoint 与 SavePoint 区别 概念 1. checkpoint checkpoint主要目的是在意外作业失败的情况下提供一个恢复机制。checkpoint的生命周期由Flink管理，也就是说，checkpoint由Flink创建、拥有和释放–无需用户互动。由于checkpoint经常被触发，并被用于故障恢复，checkpoint实现的两个主要设计目标是：尽可能轻量级地创建和尽可能快速地恢复。对这些目标的优化可以利用某些属性，例如，工作代码在执行尝试之间不会改变。 在flink任务故障
Flink学习 - 8. Checkpoint 与 Savepoint 区别
jerome520zl的博客
01-10 910
Flink学习 - 8. Checkpoint 与 Savepoint 区别CheckpointSavepointSavepoint 与 Checkpoint 的区别 Checkpoint CheckPoint可以理解为： 将State状态数据持久化，注意这个CheckPoint是在同一时间点 Task/Operator的状态的全局快照。 CheckPoint是Flink在输入的数据集上间隔性的生...
Flink Checkpoint/Savepoint
李孟的博客
10-22 883
一.CheckPoints 为了使Flink的状态具有良好的容错性，Flink提供了检查点机制（Checkpoints）。通过检查点机制，Flink定期在数据流上生成checkpoint barrier ，当某个算子收到barrier时，即会基于当前状态生成一份快照，然后再将该barrier传递到下游算子，下游算子接收到该barrier后，也基于当前状态生成一份快照，依次传递直至到最后的Sink算子上。当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。 开启检查点 默
Flink Checkpoint 和 Savepoint 区别及其如何配置使用？
http://www.54tianzhisheng.cn/
09-22 590
Checkpoint 在 Flink 中是一个非常重要的 Feature，Checkpoint 使 Flink 的状态具有良好的容错性，通过 Checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。本节主要讲述在 Flink 中 Checkpoint 和 Savepoint 的使用方式及它们之间的区别。 Checkpoint 介绍及使用 为了保障的容错，Flink 需要对状态进...
Flink的Checkpoint底层如何实现的?savepoint和checkpoint有什么区别?
04-01
Savepoint和Checkpoint都是用于实现Flink容错机制的。它们的区别在于： 1. Checkpoint是由Flink自动触发的，用于定期保存作业状态并检查作业是否出现故障。而Savepoint是由用户手动触发的，用于在不更改作业代码的...
Flink Checkpoint，Savepoint 异同
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-14 202
Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。Flink Checkpoint 是 Flink 自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。当然在某些情况，比如 Flink On Yarn 模式，某个 Container 发生 OOM 异常，这种
Flink中checkpoint和savepoint的区别
cherry_caocao的博客
05-26 398
Flink中checkpoint和savepoint的区别
Flink系列之：Checkpoints 与 Savepoints
zhengzaifeidelushang的博客
12-21 1475
从概念上讲，Flink 的 savepoints 与 checkpoints 的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期 由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。
Flink中Checkpoint和Savepoint 的 3 个不同点
yscoder的博客
11-14 319
在本文中，笔者将阐述在Flink中 Savepoint 和 Checkpoint 二者的不同点以及它们的应用场景。 Savepoint和Checkpoint分别是什么? Savepoint 是用来为整个流处理应用在某个“时间点”（point-in-time）进行快照生成的功能。该快照包含了数据源读取到的偏移量（offset），输入源的位置信息以及整个应用的状态。借助 分布式快照算法(Chandy-Lamport )的变体，我们可以在应用程序运行中得到某个“时间点”一致的快照。 Savepoin...
Flink系列：Savepoints与checkpoints区别
NIO4444
05-31 533
Flink程序会定期在 worker 节点上创建快照并生成 checkpoints。 一旦完成了新的 checkpoint，旧的就可以被丢弃。 checkpoint 不会自动过期 可以通过REST API来创建 Savepoints
Flink检查点（checkpoint）、保存点（savepoint）的区别与联系
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-17 1110
最近一段时间很忙，顾不上仔细选题，写一个所有人都知道的小知识点吧。 checkpoint和savepoint是Flink为我们提供的作业快照机制，它们都包含有作业状态的持久化副本。官方文档这样描述checkpoint： Checkpoints make state in Flink fault tolerant by allowing state and the corresponding stream positions to be recovered, thereby giving the appl
Flink Checkpoint和Savepoints
weixin_44844089的博客
05-23 248
Checkpoint的概念和作用 概念： Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot（数据快照），从而将这些状态数据定期持久化存储下来， 作用： 当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些Snapshot进行恢复，从而修正因为故障带来的程序数据状态中断。 总的来说，就是在流数据处理的过程中，定期的去保存某个阶段的数据（称为数据快照），当后续阶段的程序意外崩溃时，可以从之前保存的数据快
Flink checkPoint和SavePoint
程序员路同学
06-19 1368
savepoint和checkpoint都是flink为容错提供的强大功能特性，能够自动或手动保存job的运行状态checkpoint：应用定时触发，用户保存状态，会过期，内部应用失败重启的时候启用，但是手动cancel时，会删除之前的checkpointsavepoint：用户手动置顶，相当于状态的备份，可以在bin/flink cancel xx的时候调用，一般用于修改并行度，程序升级等等。如果想要在程序停掉后重启，数据一致的情况下，强烈推荐使用cancel时做savepoint，当然如果程序中没有涉及
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值