flink的历史checkpoint点不可用的测试

最新推荐文章于 2023-12-17 17:22:54 发布
最新推荐文章于 2023-12-17 17:22:54 发布
阅读量284 收藏
点赞数
分类专栏： 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013727054/article/details/112602453
版权
本文探讨了程序升级中可能导致历史版本不可用的两个关键因素：jobgraph变化和算子id变化。jobgraph的改动，如删除print流，可能破坏原有流程。同时，算子id的变动也会导致依赖关系失效。建议每个算子手动指定id以保持稳定性。
摘要由CSDN通过智能技术生成

程序升级，代码修改，重构，bug修复等等，当你的代码修改后，什么情况下会导致历史ck不可用?

一，job graph变化会导致不可用

例如注释掉流的print，print实际上是sink

二，算子id变化，导致不可用

最佳实践，每个算子手动指定id

 

 

都教授2000
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink 新加source后 发布前需要修改checkpoint的namspace/报错：作业拓扑发生改变，无法使用现有Checkpoint
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-21 377
之前是： source_a union all source_b ； 新加source_c: source_a union all source_b source_c； 会报错： Flink任务Checkpoint检查 报错：作业拓扑发生改变，无法使用现有Checkpoint Checkpoint verification error: org.apache.flink.client.program.ProgramInvocationException: The main method ca
Flink在大规模状态数据集下的checkpoint调优
最新发布
默硕的博客
04-08 200
因为Flink在checkpoint时是首先在每个task上做数据checkpoint，然后在外部存储中做checkpoint持久化。在这里的一个优化思路是：在总状态数据固定的情况下，当每个task平均所checkpoint的数据越少，那么相应地checkpoint的总时间也会变短。答案是应用会一直在做checkpoint，因为当应用发现它刚刚做完一次checkpoint后，又已经到了下次checkpoint的时间了，然后又开始新的checkpoint。Checkpoint的资源设置。
flink checkpoint
cobracanary的博客
06-04 3002
flink的checkpoint探究，包含checkpoint的生成，如何从checkpoint中恢复flink作业
flink之checkpoint、savepoint，Flink计算发布之后是否还能够修改计算算子？(指状态恢复)
qq_44962429的博客
01-20 872
1、chekpoint、savepoint CheckPoint是Flink实现故障容错的一种机制，系统会根据配置的检查点定期自动对程序计算状态进行备份。一旦程序在计算过程中出现故障，系统会选择一个最近的检查点进行故障恢复。 SavePoint是一种有效的运维手段，需要用户手动触发程序进行状态备份，本质也是在做CheckPoint。 ./bin/flink cancel -m centos:8081 -s hdfs:///savepoints f21795e74312eb06fbf0d48cb8d90489
flink1.8 checkpoint state 一些测试
chougongpiao9134的博客
07-26 192
待补充 转载于:https://my.oschina.net/mrpei123/blog/3079706
Flink的四大基石之---Checkpoint详解
LBJ_小松鼠的博客
03-09 2833
1- 容错机制Checkpoint检查点理解 首先状态State与检查点Checkpoint之间关系：Checkpoint将某个时刻应用状态State进行快照Snapshot保存。 1）、State：维护/存储的是某一个Operator的运行的状态/历史值，是维护在内存中。 2）、Checkpoint：某一时刻，Flink中所有的Operator的当前State的全局快照，一般存在磁盘上。 Flink中的Checkpoint底层使用了Chandy-Lamport algorithm分布式快照算法
flink实战--flink原理解析
热门推荐
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1721
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
Flink面试大全总结（全文6万字、110个知识点、160张图）
逆流而上Mr李
08-31 2291
添加作者微信：threeknowbigdata，备注Flink，获取文章PDF版本 Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及AB融合技术，为了让更多朋友更清晰的了解流式计算组件，现在我以面试的方式为大家全面总结了Flink所涉及的知识点，全文总共6万字，涉及各种原理，以及源码分析，图片是一张张绘制而出，欢迎大家进行解读！ 在互联网行业，我们都知道薪资结构跟岗位存在直接关系，如下面这幅关..
Flink规则引擎实践分享
weixin_38836273的博客
04-28 4200
Flink规则引擎实践分享 文章目录Flink规则引擎实践分享一、实时规则引擎架构***二、规则抽象模型三、规则、条件查询封装**3.1规则封装3.2 查询规则封装四、使用ClickHouse来存放明细并实现查询服务支持4.1 ClickHouse从Kafka摄取数据4.2 ClickHouse查询服务中的sql设计**4.3 ClickHouse查询时间跨度问题与解决**4.4 查询路由模块**五、项目中优化的点5.1 规则匹配方式优化5.2 行为明细规则匹配查询CK并发过高的解决方案 Java、大数
Flink系列之：监控Checkpoint
zhengzaifeidelushang的博客
12-17 598
摘要计算了所有已完成 checkpoint 的端到端持续时间、增量/全量Checkpoint 数据大小和 checkpoint alignment 期间缓冲的字节数的简单 min/average/maximum 统计信息。请注意，这些统计信息不会在 JobManager 丢失后无法保存，如果 JobManager 故障转移，这些统计信息将重新计数。
flink检查点checkpoint失败问题总结-2
fct2001140269的博客
03-21 1万+
检查点checkpoint失败问题总结(2)： 问题描述：检查点刚开始是可以的做checkpoint的，后期越来越不能够做checkpoint的情况总结： 一.反压问题 1.什么是反压(如下图1所示)？ 图2-1 部分算子反压表现（web ui） 2.flink中反压机制是干什么的？ ​ flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...
Flink Checkpoint 原理流程以及常见失败原因分析
稻草人技术博客
12-28 3922
前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Checkpoint，从而开发出更健壮的实时任务。 一、 什么是 Flink Checkpoint 和
flink 之 checkpoint 测试
csdntestuser1的博客
03-13 1590
模拟flink checkpoint的恢复过程，包含了从checkpoint的设置，python脚本，及模拟job出现异常后从checkpoint恢复的过程。
Flink如何清除过期的CheckPoint
淡定一生2333的博客
07-15 6780
生产环境中，Flink Job运行过程中会定期执行CheckPoint，将内部状态持久化到外部的存储系统中，一般会选择使用HDFS。多种外部存储系统之间的差异详见之前写的那篇文章《Flink的状态后端(State Backends)》。随着程序不停的执行， CheckPoint文件会越来越多，如何清理过期的文件就是一个很大的问题。 一般建议大家选用RocksDB作为StateBackend。RocksDB使用的LSM树，会将状态存储到磁盘sst文件(类似HBase中的HFile)中，避免S...
解决Flink在测试环境无法保存checkpoint问题
qy8502的专栏
11-19 4843
在测试环境部署的flink，无法成功的存储checkpoints。或者使用flink命令执行savepoint也无法成功保存。hdsf中创建了对应的目录，却没有写任何文件。
Flink 检查点（checkpoint）
hyunbar的博客
03-25 6500
Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时，怎么办呢? 如果项链上有很多珠子，你显然不想从...
Flink Checkpoint（检查点）
Widsom的博客
10-31 2773
Flink Checkpoint（检查点） Flink中的每个函数和运算符都可以是有状态的（如果是Keyed Stream，使用ValueState、ListState等状态，如果是Operator State，实现CheckpointedFunction或CheckpointedList接口。使用ListState、MapState获取状态）。有状态的函数在各个元素/事件处理中存储数据。使状态成...
flink任务挂掉后从ck自动重启
bradyM的博客
11-13 3006
问题描述 我们的flink程序往往是7*24小时在运行的，当任务挂掉后，我们虽然可以通过监控报警等，第一时间知道程序挂掉，但是如果我们电脑不在旁边或者我们在休假，这种情况，往往不能够及时的重启任务。 需求 想实现一个脚本，能够在规定的时间范围内监测到任务已经停止，然后自动运行重启命令，重启任务；如果任务是存有中间状态的，那么还需要在自动重启时获取到任务的checkpoint路径 实现思路 关于监测任务是否挂掉 我们可以利用yarn的命令配合Linux的命令行来找到你提交的命令，例如： yarn app
Shopee Flink Unaligned Checkpoint：优化策略与实战提升
Flink的默认Checkpoint机制，即Aligned Checkpoint，存在一些问题，特别是在高并发和流量波动下，可能导致检查点失败、恢复时间过长，从而影响服务可用性和业务连续性。 在Shopee的生产实践中，Flink Unaligned ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值