【Flink】Flink 1.13 版本 SavePoint 源码分析

最新推荐文章于 2024-07-10 09:58:33 发布
最新推荐文章于 2024-07-10 09:58:33 发布
阅读量578 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124894522
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文深入分析了Flink 1.13版本中SavePoint的触发过程，从stopCheckpointScheduler、triggerSynchronousSavepoint到StopWithSavepointTerminationHandler的处理步骤，详细阐述了保存点创建、任务执行完成的顺序及异常处理机制。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

本章节主要讲解 Flink 1.13 版本 SavePoint 源码分析，对于Flink 1.9版本触发检查点的详细信息可以参考：【Flink】Flink 使用代码如何主动触发 SavePoint

2. 源码分析

触发SavePoint的源码位于 EmbeddedJobClient#stopWithSavepoint

@Override
    public CompletableFuture<String
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-260-050-源码-检查点-SavePoint
九师兄
07-01 497
2.Flink的Savepoint 2.1 概述 概念 Ø 让时光倒流的语法糖 Ø 全局、一致性快照，如数据源offset、并行操作状态 Ø 可以从应用在过去的任意做了savepoint的时刻开始继续消费 作用 Ø 开发新版本，应用重新发布 Ø 业务迁移，集群需要迁移，不容许数据丢失 2.2 简介 ​ Flink Savepoint 作为实时任务的全局镜像，其在底层使用的代码和Checkpoint的代码是一样的，因为Savepoint可以看做 Checkpoint在特定时期的一个状态快照。 ​.
【Flink】Flink 使用代码如何主动触发 SavePoint
九师兄
02-28 1741
文章目录1.概述2.案例2.1 主方法2.2 JobListener2.3 测试结果3.源码3.1 测试类3.2 executeAsync 1.概述 我们自定义了一个MySQL source ，然后任务运行的时候回记录一些状态，但是检测点时间设置 5秒一次，但是我们程序3秒就执行完了，然后客户要求执行完毕就停止任务，不要一直运行，下次攒了一批数据后，web会调用这个flink让程序再次运行，所以要记录上次运行的位置，现在是放到检查点里面了，如何做停止的时候做检查点呢？或者代码怎么能主动调用触发检查点呢？如
Flink SavePoint
chougongpiao9134的博客
08-12 177
SavePoint 和 CheckPoint的区别： checkpoint提供一种轻量级和快速恢复机制，整个生命周期由Flink框架管理，作业程序在运行期间不允许变更，任务执行结束后会删除checkpoint数据，除非显式配置保留checkpoint。 SavePoint 的创建 持有 删...
63、Flink 使用 JobClient 执行 Savepoint 代码示例
最新发布
猫猫爱吃小鱼粮
07-10 127
Flink 使用 JobClient 执行 Savepoint 代码示例
Flink 专题 -2Checkpoint、Savepoint 机制
augus_one的博客
11-07 2695
文章目录CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 状态点恢复SavepointSavepoint 介绍savepoint 和 checkpoint 区别Assigning Operator IDs ( 分配 operator ids)Savepoint State保存Savepoint在yarn 集群中保存Savepoint...
State backend Flink-1.13优化及生产实践分享.pdf
03-21
Apache Flink 是一个流行的开源流处理框架，其在1.13版本中对State Backend进行了多项优化和改进，以提高性能、稳定性和易用性。State Backend是Flink存储和管理状态的关键组件，用于持久化和恢复计算过程中的中间...
深入解读 Flink SQL 1.13
阿里云技术
07-01 181
本文由社区志愿者陈政羽整理，Apache Flink 社区在 5 月份发布了 1.13 版本，带来了很多新的变化。文章整理自徐榜江(雪尽) 5 月 22 日在北京的 Flink Meetup 分享的《深入解读 Flink SQL 1.13》，内容包括： Flink SQL 1.13 概览核心 feature 解读重要改进解读Flink SQL 1.14 未来规划总结 一、Flink SQL 1.13 概览 Flink 1.13 是一个社区大版本，解决的 issue 在 1000 个以上，通过上图我们
大数据开发-Flink-1.13新特性
Hoult丶吴邪
05-22 752
介绍 大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇文章既是当时做的笔记，又是在后续查阅官网等做的补充, Flink 的一个主要目标取得了重要进展，即让流处理应用的使用像普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单，
flink stop with savepoint 命令 Caused by: java.util.concurrent.TimeoutException
konstantin的博客
02-20 666
flink stop savepoint 超时 timeout
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
二十七、Flink源码阅读--checkpoint原理
大数据之路
06-19 1853
flink checkpoint 原理是在源码中怎么实现的，本篇从源码角度深入理解 API设置 设置checkpoint参数相关代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); env.get...
Flink停止任务并保存savepoint
xiaozhaoshigedasb的博客
04-15 3292
线上作业会有需求需要改动的时候， 希望不要丢失数据的进行需求迭代。注意：这中线上的任务迭代最好在数据量低谷的时候进行，对任务造成的影响最小。 需要用到一下命令： flink取消任务并保存savepoint flink cancel -s hdfs:///flink/flink-savepoints/20210326/11 【flink-job-id】 -yid 【application-id】 再次执行启动，加上savepoint地址： flink run \ -d \ -p 20 \
Flink之状态之savepoint
weixin_30371875的博客
08-02 852
1.总览 savepoints是外部存储的自包含的checkpoints，可以用来stop and resume，或者程序升级。savepoints利用checkpointing机制来创建流式作业的状态的完整快照（非增量快照），将checkpoint的数据和元数据都写入到一个外部文件系统。 如何触发、恢复或者释放savepoint了？下面一一道来。 2.分配Operator ID 极度推荐...
Flink 保存点
记录点点滴滴
06-18 1524
保存点 (Savepoint) ：用户手动触发保存状态。savepoint 恢复作业, 并修改状态后端。checkpoint 恢复作业。优雅停止 , 并触发保存点。
06_Flink命令行界面、作业管理示例、Savepoints、语法（run、通用配置、yarn-cluster、info、list、stop、cancel、savepoint等）
涂作权的博客
01-20 1449
1.6.Flink命令行界面 1.6.1.Deployment targets 1.6.2.例子 1.6.3.作业管理示例 1.6.4.Savepoints 1.6.5.语法 1.6.Flink命令行界面 此篇内容来自：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/cli.html Flink提供了一个命令行接口(CLI)来运行打包为JAR文件的程序，并控制它们的执行。CLI是任何Flink设置的一部分，可以在本地单节
Flink savepoint | checkpoint 恢复
qq_15138049的博客
11-04 709
flink 恢复
Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
cheni8327的博客
08-11 481
前言 如今，许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop，还有较新的框架，如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是...
Flink 原理与实现：Savepoint
GatsbyNewton
03-01 1002
在 Flink 原理与实现：Checkpoint 这篇文章中，我介绍了 Flink Checkpoint。Checkpoint 是 Flink 内置的失败恢复机制。 Savepoint Savepoint 是 Flink 的一个非常重要的特征，被 Flink PMC 誉为“瑞士军刀（Swiss Army knife）”。Savepoint 的实现算法和 Checkpoint 一样。但是，Savep...
Flink SQL编程精髓：源码分析与实战
文档内容涵盖了Flink SQL的使用、源码分析以及运行原理，旨在帮助开发者深入理解Flink的SQL处理能力。 Flink SQL是Apache Flink项目的一部分，它提供了一种声明式的、类似SQL的方式来处理流数据和批数据。Flink SQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值