savepoint和checkpoint的区别

已于 2022-03-10 16:37:48 修改
阅读量2.3k 收藏 2
点赞数 1
文章标签： flink
于 2022-03-02 21:14:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MingZiWoChiLe/article/details/123240479
版权

1.savepoint和checkpoint的区别
checkpoint是flink job定期做的检测点，savepoint是停止job时人为指定的保存状态目录
savepoint中的状态更新一些

2.停止job的命令
老的方式（cancel，以过时），-s指定的是savepoint的目录
/bigdata/flink-1.13.5/bin/flink cancel -s hdfs://node-1.51doit.cn:9000/savepoint01 e7cd441df08d2ebaf53eddff5d2f2260

新的方式（stop），-p指定的是savepoint的目录
/bigdata/flink-1.13.5/bin/flink stop -p hdfs://node-1.51doit.cn:9000/savepoint2 427a4f0a482a406d7306b3813bfa3b63

3.启动flink并指定checkpoint或savepoint（-s指定的是定checkpoint或savepoint目录）
 /bigdata/flink-1.13.5/bin/flink run -c cn._51doit.flink.day07.KafkaToRedisWordCount -p 4 -s hdfs://node-1.51doit.cn:9000/savepoint01/savepoint-e7cd44-e700503a0028 /root/flink-java-1.0.jar

名字都让我吃了
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ApacheFlink状态管理和容错机制介绍
01-27
同时，当作业需要从停止状态恢复时，Flink支持两种恢复机制：直接从最后一个Checkpoint恢复，或者通过Savepoint进行恢复。 总的来说，Apache Flink的状态管理和容错机制是其处理有状态流数据的核心优势，它为开发者...
flink状态管理示例代码大全完整中文注释
10-19
"savepoint"（保存点）类似于checkpoint，但它更灵活，可以在任何时间由用户触发，而且可以迁移到不同的Flink集群。保存点可用于升级作业、调整并行度或在不中断作业的情况下更换硬件。 "状态后端"（State Backend...
Flink检查点（checkpoint）、保存点（savepoint）的区别与联系
雾岛与鲸的博客
02-20 1268
checkpoint和savepoint是Flink为我们提供的作业快照机制，它们都包含有作业状态的持久化副本。用几句话总结一下。checkpoint的侧重点是“容错”，即Flink作业意外失败并重启之后，能够直接从早先打下的checkpoint恢复运行，且不影响作业逻辑的准确性。而savepoint的侧重点是“维护”，即Flink作业需要在人工干预下手动重启、升级、迁移或A/B测试时，先将状态整体写入可靠存储，维护完毕之后再从savepoint恢复现场。
Flink Checkpoints 与 Savepoints
SunTecTec
07-05 994
从概念上讲，Flink 的savepoints与的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。
flink savepoint 和 checkpoint对比
cbb
03-09 2639
flink 设计checkpoint为什么还要设计savepoint？ Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting（简称 ABS）算法实现分布式快照的，都可以确保一致性、容错、故障恢复。 1.什么是 Checkpoint？ Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。Flink Ch
Savepoint 和 Checkpoint 不同
Baron_ND的博客
09-14 780
什么是 Savepoint 和 Checkpoint Savepoint 是用来为整个流应用程序在某个“时间点”（point-in-time）的生成快照的功能。该快照包含了输入源的位置信息，数据源读取到的偏移量（offset），以及整个应用的状态。借助 Chandy-Lamport 算法的变体，我们可以无需停止应用程序而得到一致的快照。Savepoint 包含了两个主要元素： 首先，Savepoint 包含了一个目录，其中包含（通常很大的）二进制文件，这些文件表示了整个流应用在 Checkpoint/S
Flink Savepoint 和 Checkpoint 使用
yang灬仔
03-17 4766
flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是作业容错自动恢复，轻量，自动周期管理 savepoint 用户手动执行，是指向Checkpoint的指针，不会过期 在升级的情况下使用，特点关注状态数据可以移植性，状态数据生成和恢复成本高，用户手动管理 注意：为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级，强烈推荐程序员通过 uid(String) 方法手动的给
Flink之checkpoint和savepoint的区别
鸡排小农的博客
03-23 4137
1.什么是Checkpoint Checkpoint：一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。 用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。 (1)checkpoint
Flink CheckPoint 与 SavePoint 区别
qq_27242695的博客
06-29 782
CheckPoint 与 SavePoint 区别 概念 1. checkpoint checkpoint主要目的是在意外作业失败的情况下提供一个恢复机制。checkpoint的生命周期由Flink管理，也就是说，checkpoint由Flink创建、拥有和释放–无需用户互动。由于checkpoint经常被触发，并被用于故障恢复，checkpoint实现的两个主要设计目标是：尽可能轻量级地创建和尽可能快速地恢复。对这些目标的优化可以利用某些属性，例如，工作代码在执行尝试之间不会改变。 在flink任务故障
flink（十三）：flink-CheckPoint和SavePoint作用和区别
幻神舞的专栏
07-09 1536
文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结 分享 大数据博客列表 说明 本博客周五更新一次 Flink 功能模块CheckPoint（检查点）和SavePoint（保存点）是任务异常后恢复任务的重要功能，当任务异常关闭时，可以从检查点或保存点恢复任务。 CheckcPoint CheckPoint是 flink 实现容错机制最核心的功能，
checkpoint和savepoint的区别
mischen520的博客
07-01 445
Savepoint Checkpoint Savepoint是由命令触发,由用户创建和删除 Checkpoint被保存在用户指定的外部路径中,flink自动触发 保存点存储在标准格式存储中，并且可以升级作​​业版本并可以更改其配置。 当作业失败或被取消时，将保留外部存储的检查点。 用户必须提供用于还原作业状态的保存点的路径。 用户必须提供用于还原作业...
Flink状态管理和恢复技术介绍1
08-04
当发生故障时，Flink通过检查点（Checkpoint）和保存点（Savepoint）来恢复处理状态。检查点是定期保存的全局一致的系统快照，而保存点则允许用户在任何时间点手动触发，以创建一个可恢复的点。 以下是一个简单的...
最热门的大数据面试题汇总
04-26
2. **Spark与Flink的区别**：Spark以内存计算为核心，适合交互式分析和批处理，支持DAG执行模型，而Flink则更侧重实时流处理，具备事件时间处理和状态管理能力。Spark的延迟相对较高，但吞吐量大，Flink则提供了更低...
flink 1.17 测试
guofei_ok的博客
08-01 252
1、配置2、测试：
大数据Flink（一百零九）：阿里云Flink的基本名称概念
最新发布
Lansonli（蓝深李）的博客
08-04 777
通过了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。工作空间（Workspace）工作空间是Flink全托管管理项目空间的基本单元，每个工作空间的计算资源隔离，开发控制台相互独立。创建成功后工作空间名称和OSS存储地址不可修改。项目空间（Namespace）项目空间是Flink全托管管理作业的基本单元，我们的所有配置、作业、权限均在单个项目空间下进行。
Apache Flink多租户特性详解：资源隔离与共享策略
2402_85761468的博客
08-04 811
多租户支持是指在一个Flink集群中，能够同时运行来自不同用户或组织的多个作业，这些作业之间相互独立，不会互相影响。
笔记222222222222222222222222222222
08-04
笔记222222222222222222222222222222
flink savepoint和checkpoint
03-16
Flink的savepoint和checkpoint都是用于容错的机制。 Checkpoint是在Flink运行过程中周期性地保存应用程序的状态，以便在发生故障时可以恢复应用程序的状态。Checkpoint可以在本地磁盘或远程存储中保存，以确保数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值