95-260-050-源码-检查点-SavePoint

最新推荐文章于 2024-07-10 09:58:33 发布
最新推荐文章于 2024-07-10 09:58:33 发布
阅读量497 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106028039
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flink的Savepoint概念，包括全局一致性快照的作用、状态数据类型，以及如何创建、恢复和管理Savepoint。重点讨论了手动设置Operator ID的重要性，以及Savepoint的触发方式和注意事项，提供了常见问题解答。
摘要由CSDN通过智能技术生成

在这里插入图片描述

2.Flink的Savepoint

2.1 概述

  1. 概念

    Ø 让时光倒流的语法糖
    Ø 全局、一致性快照，如数据源offset、并行操作状态
    Ø 可以从应用在过去的任意做了savepoint的时刻开始继续消费

  2. 作用
    Ø 开发新版本，应用重新发布
    Ø 业务迁移，集群需要迁移，不容许数据丢失

2.2 简介

​ Flink Savepoint 作为实时任务的全局镜像，其在底层使用的代码和Checkpoint的代码是一样的，因为Savepoint可以看做 Checkpoint在特定时期的一个状态快照。

​ Savepoint会在Flink Job之外存储自包含（self-contained）结构的Checkpoint，它使用Flink的Checkpoint机制来创建一个非增量的Snapshot，里面包含Streaming程序的状态&#x

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink 1.13 版本 SavePoint 源码分析
九师兄
09-22 578
然后是调用triggerSavepointInternal方法，该方法中调用 triggerCheckpoint 触发Savepoint ，然后完成后调用相关的完成方法，或者异常处理方法。异常处理 StopWithSavepointTerminationHandler 的终止，不触发全局作业故障转移，但重新启动检查点。根据 StopWithSavepointTerminationHandler 的契约，强制传入的 CompletableFuture 实例的正确完成顺序。通知异常信息需要给不同的重启策略。
Flink 专题 -2Checkpoint、Savepoint 机制
augus_one的博客
11-07 2695
文章目录CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 状态点恢复SavepointSavepoint 介绍savepoint 和 checkpoint 区别Assigning Operator IDs ( 分配 operator ids)Savepoint State保存Savepoint在yarn 集群中保存Savepoint...
63、Flink 使用 JobClient 执行 Savepoint 代码示例
最新发布
猫猫爱吃小鱼粮
07-10 127
Flink 使用 JobClient 执行 Savepoint 代码示例
Flink SavePoint
chougongpiao9134的博客
08-12 177
SavePoint 和 CheckPoint的区别： checkpoint提供一种轻量级和快速恢复机制，整个生命周期由Flink框架管理，作业程序在运行期间不允许变更，任务执行结束后会删除checkpoint数据，除非显式配置保留checkpoint。 SavePoint 的创建 持有 删...
95-260-055-源码-检查点-Savepoint 和 Checkpoint的异同
九师兄
07-01 502
1.什么是SavePoint Savepoint 是用来为整个流应用程序在某个“时间点”（point-in-time）的生成快照的功能。该快照包含了输入源的位置信息，数据源读取到的偏移量（offset），以及整个应用的状态。借助 Chandy-Lamport 算法的变体，我们可以无需停止应用程序而得到一致的快照。Savepoint 包含了两个主要元素： 首先，Savepoint 包含了一个目录，其中包含（通常很大的）二进制文件，这些文件表示了整个流应用在 Checkpoint/Savepoint 时的状.
【flink】95-260-045-源码-检查点-CheckPoint
九师兄
07-01 504
全局快照，持久化保存所有的task/operator的State Ø序列化数据集合Flink实时计算为了容错，可以将中间数据定期保存到起来，这种定期触发保存中间结果的机制叫CheckPointing.CheckPointing 是周期执行的。具体的过程是JobManager定期的向TaskManager中的SubTask发送RPC消息，SubTask 将其计算的State保存到StateBackEnd中，并且向JobManager相应Checkpoint是否成功。
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
13. **检查点与 savepoint**：Flink 的检查点和 savepoint 功能是其强大容错机制的一部分，它们允许在不影响正在运行的作业的情况下保存状态，以便在需要时恢复。 14. **Flink 的流处理模型**：Flink 采用...
flink-blink.zip
11-13
Flink的保存点（Savepoint）和检查点（Checkpoint）策略在Blink中得到了进一步完善。Blink提供了更灵活的保存点策略，允许用户在任何时间点创建保存点，便于系统升级或调整。此外，Blink还改进了故障恢复机制，减少...
【Flink】Flink 使用代码如何主动触发 SavePoint
九师兄
02-28 1741
文章目录1.概述2.案例2.1 主方法2.2 JobListener2.3 测试结果3.源码3.1 测试类3.2 executeAsync 1.概述 我们自定义了一个MySQL source ，然后任务运行的时候回记录一些状态，但是检测点时间设置 5秒一次，但是我们程序3秒就执行完了，然后客户要求执行完毕就停止任务，不要一直运行，下次攒了一批数据后，web会调用这个flink让程序再次运行，所以要记录上次运行的位置，现在是放到检查点里面了，如何做停止的时候做检查点呢？或者代码怎么能主动调用触发检查点呢？如
二十七、Flink源码阅读--checkpoint原理
大数据之路
06-19 1852
flink checkpoint 原理是在源码中怎么实现的，本篇从源码角度深入理解 API设置 设置checkpoint参数相关代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); env.get...
Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
cheni8327的博客
08-11 481
前言 如今，许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop，还有较新的框架，如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是...
Flink内核源码（六）状态容错与两阶段提交
小朱小朱绝不认输的博客
07-18 817
Flink的状态容错与两阶段提交，包括状态、状态后端存储、checkpoint、savepoint、两阶段提交、checkpoint调优
Flink技术源码解析（一）：Flink概述与源码研读准备
weixin_33828101的博客
06-06 1796
一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势，可参考https://blog.csdn.net/cm_chenmin/article/details/5307249...
Flink技术源码解析（一）：源码研读准备
xingdianp的博客
11-24 884
Flink技术源码解析（一）：源码研读准备 简介： 一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势。 一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streami
flink的Savepoint
Er_fengV的博客
09-06 5440
其实说到flink的checkpoint，那必然也得讲讲flink的savepoint 什么是 Savepoint ？ Savepoint 与 Checkpoint 有什么不同？ Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成：稳定存储（列入 HDFS，S3，…) 上包含二进制文件的目录（通常很大），和元数据文件（相对较小）
Flink 原理与实现：Savepoint
GatsbyNewton
03-01 1002
在 Flink 原理与实现：Checkpoint 这篇文章中，我介绍了 Flink Checkpoint。Checkpoint 是 Flink 内置的失败恢复机制。 Savepoint Savepoint 是 Flink 的一个非常重要的特征，被 Flink PMC 誉为“瑞士军刀（Swiss Army knife）”。Savepoint 的实现算法和 Checkpoint 一样。但是，Savep...
[Flink原理介绍第四篇】：Flink的Checkpoint和Savepoint介绍
hxcaifly的博客
12-01 9410
第一部分：Flink的Checkpoint 1. Flink Checkpoint原理介绍 Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些Snapshot进行恢复，从而修正因为故障带来的程序数据状...
SQL Server 2005 T-SQL 新特性解析
9. **增强的错误处理和事务控制**：新的TRY...CATCH结构提供了更好的异常处理机制，允许更优雅地捕获和处理错误，同时改进了事务控制，如保存点（SAVEPOINT）的使用。 10. **分区视图和分区函数**：在大型表上实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值