flink1.10checkpoint及savepoint实战

最新推荐文章于 2024-05-10 09:57:00 发布
最新推荐文章于 2024-05-10 09:57:00 发布
阅读量311 收藏 1
点赞数
分类专栏： savepoint&checkpoint 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45626756/article/details/108605260
版权

代码中配置状态后端和checkpoint的间隔时间及相关配置
在这里插入图片描述
1.flink-conf.yaml中配置Savepoint存储位置

不是必须设置，但是设置后，后面创建指定Job的Savepoint时，可以不用在手动执行命令时指定Savepoint的位置
在这里插入图片描述

2.取消任务并将savepoint保存到指定文件夹中
在这里插入图片描述
3.从指定的路径加载savepoint启动应用
在这里插入图片描述
4.注意：从savepoint中加载状态是通过算子id定位的，最好手动设置算子uid
在这里插入图片描述

weixin_45626756
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink Checkpoint，Savepoint 异同
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-14 194
Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。Flink Checkpoint 是 Flink 自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。当然在某些情况，比如 Flink On Yarn 模式，某个 Container 发生 OOM 异常，这种
Flink Checkpoints & Savepoint 最佳实践
csdn问鼎
07-11 540
文章目录基本概念代码实践测试恢复总结 基本概念 Flink 中很重要的一点就是能够保持任务的状态，这样任务失败了，会根据上一次的结果重试，保证数据只被计算一次 实现原理，就是每隔一点时间对计算状态作一个镜像，这个状态称为Checkpoints savepoint 主要是人为的触发，保存这个任务的计算状态 ，两个作用都是一样的 代码实践 /** * Created by shuiyu lei...
Flink 调优：大规模状态数据集中的 Checkpoint 实战
GatsbyNewton
09-06 1774
Checkpoint 的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响，本文介绍大规模状态数据集中的 Checkpoint 实战。
Flink1.10入门：Checkpoint机制介绍
陆继森的技术专栏
04-14 657
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 一、Checkpoint概念 上篇文章我们已经讲了Flink的状态管理，对于这些状态如何保存，我们一起学习一下Flink的Checkpoint机制。Flink本身为了保证其...
第七章 Flink基础理论之State & CheckPoint 原理及实战
qq_27924553的博客
11-16 1219
Flink基础理论之State & CheckPoint 原理及实战
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景，探索宕机恢复时如何精准继续计算订单
大数据小禅的博客
10-30 4053
Flink的状态与容错是这个框架很核心的知识点。其中一致检查点也就是Checkpoints也是Flink故障恢复机制的核心，这篇文章将详细介绍Flink的状态管理和Checkpoints的概念以及在生产环境中的参数设置。 什么是State状态？ 在使用Flink进行窗口聚合统计，排序等操作的时候，数据流的处理离不开状态管理 是一个Operator的运行的状态/历史值，在内存中进行维护 流程：一个算子的子任务接收输入流，获取对应的状态，计算新的结果，然后把结果更新到状态里面 有状态和无状态介绍 .
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
在 Flink 中，为了应对程序错误或人为取消任务时的数据丢失问题，Checkpoint 机制是至关重要的。本篇将深入讲解如何利用 Flink 的 Checkpoint 机制从已保存的状态中恢复数据。 首先，我们需要理解什么是 Flink 的 ...
Flink 1.10 正式发布！——与Blink集成完成，集成Hive，K8S
01-07
Apache Flink社区宣布Flink 1.10.0正式发布！ 本次Release版本修复1.2K个问题，对Flink作业的...为了使内存管理更明确直观，Flink 1.10对TaskExecutor内存模型和配置做了重大改进，这个更改使FLink更适合于各种部署环境
cdh.6.3.2 编译成功的flink1.10,适配scala2.12
10-12
编译了10个小时的 cdh.6.3.2 编译成功的flink1.10,适配scala2.12 适配scala2.12,里面的部分配置需要自己修改,比如slaves,masters,flink-conf.yaml 等等
flink 关于checkpoint 疑虑 1
08-04
在Flink大数据处理环境中，Checkpoint机制是实现容错和高可用性的重要手段。然而，在实际应用中，可能会遇到各种问题，比如在这个场景下遇到的"Could not materialize checkpoint"异常。这个问题通常意味着Flink在...
大数据学习之flink介绍及实战
12-14
Apache Flink是一个强大的开源大数据处理框架，专注于实时流处理，同时也支持批处理。Flink的设计目标是能够在无界和有界数据流上进行状态计算，提供低延迟和高吞吐量的数据处理能力。以下是Flink的详细介绍： 一、...
23、Flink 的 Savepoints 详解
最新发布
猫猫爱吃小鱼粮
05-10 1082
Flink 的 Savepoints 详解
9、Flink四大基石之Checkpoint容错机制详解及示例（checkpoint配置、重启策略、手动恢复checkpoint和savepoint）
热门推荐
alanchanchn的专栏
07-14 4万+
Flink 中的每个方法或算子都能够是有状态的（Flink（八）Flink四大基石之State概念、使用场景、持久化、批处理的详解与keyed state和operator state、broadcast state使用和详细示例了解更多）。状态化的方法在处理单个 元素/事件 的时候存储数据，让状态成为使各个类型的算子更加精细的重要部分。为了让状态容错，Flink 需要为状态添加 checkpoint（检查点）。
Flink 保存点
记录点点滴滴
06-18 1514
保存点 (Savepoint) ：用户手动触发保存状态。savepoint 恢复作业, 并修改状态后端。checkpoint 恢复作业。优雅停止 , 并触发保存点。
Flink（34）：Flink之Savepoint
yang_shibiao的博客
08-28 1488
目录 0. 相关文章链接 1. Savepoint介绍 2. Savepoint VS Checkpoint 3. Savepoint实例演示 0. 相关文章链接 1. Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩 在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容等操作，那么这时候需要执行一次Savepoint...
flink1.15消费kafka之checkpoint 一
yiweiyi329的博客
07-10 2287
flink1.15源码实践
【Flink】RocksDB增量模式checkpoint大小持续增长的问题及解决
九师兄
06-24 2588
转载：RocksDB增量模式checkpoint大小持续增长的问题及解决Flink版本：1.13.5一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。实际观察到，checkpoint大
Flink状态后端和CheckPoint机制
qq_43523503的博客
03-18 1814
6.8.5 状态后端 什么是状态后端？ 每传入一条数据，有状态的算子任务都会读取和更新状态。状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就是状态后端。 状态后端的作用？ 本地的状态管理 将检查点（checkpoint）状态写入远程存储 （1）状态后端分类 ①MemoryStateBackend 内存级别的状态后端 本地状态存储在TaskManager的内存中 checkpoint保存在JobManager的内存中 **特点：**速度快、延迟低、不稳定 **使用场景：**1本地测
【Flink】Flink checkpoint expired before completing
九师兄
06-29 4585
1.背景 在这个问题之前。【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould 上面那个问题，我设置了1分钟 // 开启 Checkpoint，每 1000毫秒进行一次 Checkpoint env.enableCheckpointing(60000); // Checkpoint 语义设置为 EXACTLY_ONCE env.getCheckpointConfig().setCheckpointingMode(Che.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值