【Flink】Flink Inconsistent execution state after stopping with savepoint

已于 2023-12-17 22:50:11 修改
阅读量534 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2022-09-24 09:50:09 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124894973
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了在使用Flink时遇到的Savepoint执行状态不一致的异常，详细分析了Flink 1.13版本的Savepoint源码，并提供了具体的错误信息。通过设置允许Checkpoint不对齐的参数解决了问题，该参数的含义在文中提及，并引用了相关视频和文章深入讲解Flink的Aligned Checkpoint和Unaligned Checkpoint在Shopee的实践。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

Flink 创建 saveption的时候 遇到这个异常的吗 Flink Inconsistent execution state after stopping with savepoint。详情信息如下
在这里插入图片描述
后来研究了一下源码：【Flink】Flink 1.13 版本 SavePoint 源码分析 具体的报错信息在如下

private void terminateExceptionallyWithGlobalFailover(
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink Savepoint 工作机制
SmartSi
08-26 521
Savepoint 是 Checkpoint 的一种特殊实现，底层其实也是使用 Checkpoint 的机制。Savepoint 是用户以手工命令的方式触发 Checkpoint，并将结果持久化到指定的存储路径中，其主要目的是帮助用户在升级和维护集群过程中保存系统中的状态数据，避免因为停机维护或者升级应用等正常终止应用的操作导致系统无法恢复到原有的计算状态的情况，从而无法实现端到端的 Exactly-Once 语义保证。Savepoint 与 Checkpoint 的具体区别，可以参阅。...
Flink状态管理与CheckPoint、Savepoint
涂作权的博客
10-06 1110
转载自：https://blog.csdn.net/hxcaifly/article/details/84673292     https://blog.csdn.net/rlnLo2pNEfx9c/article/details/81517928     https://blog.csdn.net/qq_26654727/article/details/83833517     https://blog.csdn.net/zero__007/article/details/88201498 Flink提供
Flink-使用checkpoint和savepoint进行快照恢复
Zong_0915的博客
08-07 6765
flink-使用checkpoint和savepoint进行快照恢复使用checkpoint（自动，由flink本身来管理）准备测试代码测试步骤flink run的常见参数flink-checkpoint的配置文件配置（不需要代码设置）使用Savepoint（用户手动操作）Savepoint需要注意的点：手动savepoint的步骤删除savepoint 使用checkpoint（自动，由flink本身来管理） 准备测试代码 public class Demo1 { public static vo
Flink任务中的checkpoing与savepoint相关问题
weixin_47114055的博客
08-17 1903
##一、 报错：checkpoint 正常，savepoint不可做 问题：flink-conf.yaml中缺少相应的配置 解决方案：在flink-conf.yaml中增加配置 state.backend: filesystem ##二、 报错：java.util.concurrent.TimeoutException 问题：checkpoint正常，savepoint失败 解决方案：造成问题很多，此处解决flink sql中的参数配置问题 －yD “high-availabilty”="NONE"导致fl
flink 大状态下做savepoint失败问题的排查
wppwpp1的专栏
04-16 5770
1、线上有一个任务状态比较大，做checkpoint的时候大约有100G左右，任务在做到10G左右的时候会报错 2、报错日志如下： 第二个错误日志： 2022-04-16 00:05:23 org.apache.flink.runtime.io.network.partition.consumer.PartitionConnectionException: Connection for partition 55780195e63c343e4a320329203bbb8a#13@83443ca
解决打开虚拟机报错Operation inconsistent with current state问题
我就吃一口的BLOG
08-11 1万+
打开虚拟机VMware Workstation报错 Operation inconsistent with current state问题 解决方法：先退出VMware Workstation，然后右键管理员权限运行即可正常打开Ubuntu。
Flink SavePoint的使用
热门推荐
lvwenyuan_1的博客
07-02 1万+
checkPoint and savePoint 说到savePoint，一定会想到checkPoint，先来说下两者的区别： checkpoint：应用定时触发，用户保存状态，会过期，内部应用失败重启的时候使用，默认情况下cancel时，会删除之前的checkpoint。 savepoint：用户手动执行，不会过期，相当于备份，可以在cancel的时候使用。一般可以用于修改并行度，程序升级...
Flink Savepoint 和 Checkpoint 使用
yang灬仔
03-17 4863
flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是作业容错自动恢复，轻量，自动周期管理 savepoint 用户手动执行，是指向Checkpoint的指针，不会过期 在升级的情况下使用，特点关注状态数据可以移植性，状态数据生成和恢复成本高，用户手动管理 注意：为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级，强烈推荐程序员通过 uid(String) 方法手动的给
Flink Savepoint使用
missingMuMu的博客
10-08 1420
目录 什么是savepoint? Savepoint有什么用？ 怎么使用savepoint？ 参考文献​​​​​​​​​​​​​​ 附录A 附录B 什么是savepoint? savepoint是通过checkpoint机制为streaming job创建的一致性快照，比如数据源offset，状态等。 Savepoint有什么用？ sa...
flink-queryable-state-client-java-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-queryable-state-client-java-1.10.0.jar； 赠送原API文档：flink-queryable-state-client-java-1.10.0-javadoc.jar； 赠送源代码：flink-queryable-state-client-java-1.10.0-sources.jar； 赠送...
Flink state 优化以及远程 state 的探索.pdf
03-21
"Flink State 优化与 Remote State 探索" Flink state 优化是指对 Flink 中的状态（State）进行优化，以提高 Flink 任务的性能和可靠性。状态是 Flink 任务中的一种特殊数据结构，用于存储任务执行过程中的中间结果...
Flink架构设计剖析,流State的讲解和练习实战
12-26
Flink架构设计剖析和流State讲解 Flink架构设计剖析和流State是大数据处理中非常重要的概念，本文将从Flink架构设计的角度，对流State进行剖析，并通过实践示例，展示Flink State的应用。 Flink架构设计剖析 ...
【flink】之如何消费kafka数据并读写入redis？
it_erge的博客
09-27 383
flink消费kafka数据进行redis读写
Python知识点：如何使用Flink与Python进行实时数据处理
bigorsmallorlarge的专栏
09-29 668
通过使用PyFlink，Python开发者可以利用Flink的强大功能来构建实时数据处理应用。无论是简单的数据转换还是复杂的流处理任务，Flink与Python的集成都能提供强大的支持。随着技术的发展，Flink和Python都在不断地引入新的特性和算法，以提高数据处理的效率和准确性。PyFlink是Apache Flink的Python API，它允许用户使用Python语言来编写Flink作业，进行实时数据处理。处理后的数据可以输出到不同的sink，例如Kafka、数据库等。方法来执行Flink作业。
大数据技术：Hadoop、Spark与Flink的框架演进
qq_22201881的博客
09-27 923
与Hadoop相比，Spark的改进主要有两点：● 易用性：比起MPI，MapReduce模型更友好，但仍然不够方便，因为并不是所有计算任务都可以简单拆分成map和reduce，有可能为了解决一个问题，要设计多个MapReduce任务，任务之间相互依赖，整个程序非常复杂，导致代码的可读性差。Spark的核心在于计算，主要目的在于优化Hadoop MapReduce计算部分，在计算层面提供更细致的服务，比如提供了常用几种数据科学语言的API，提供了SQL、机器学习和图计算支持，这些服务都是最终面向计算的。
记Flink SQL 将数据写入 MySQL时的一个优化策略
qq_47255712的博客
09-27 471
确保 MySQL 的配置参数（如 innodb_flush_log_at_trx_commit、innodb_log_file_size 等）适合高并发写入场景。调整 max_connections 和 max_allowed_packet 等参数，以支持更多的并发连接和更大的数据包。使用批量插入来提高写入性能。这将允许 Flink 在写入 MySQL 时使用更多的并发连接。如果使用的是 MySQL 的分区表，考虑增加分区数。确保选择合适的列进行分区，以便均匀分布数据。后期有其他方法在进行补充。
flink：java集成flink实现流数据处理（一）
55555的博客
09-27 1247
2、引入依赖对应flink相关的依赖需要单独说明下，其jar版本需要根据flink版本来定，flink 1.11之前版本使用的是scala2.11, 之后加入了对scala2.12的支持，不同的版本引入的jar名称不同，比如包有3个，对应不同的scala版本，则为对多个版本的兼容版一般我们根据scala版本来定，比如我这里使用flink1.13， 则对应scala2.12
Flink集群部署
最新发布
weixin_43278612的博客
09-29 476
conf配置完毕后，还需要修改masters和workers（slaves）文件，集群中所有的配置相同。workers中添加task节点名，我这里是master,node1,node2。Job为指挥中心，只能有一台主机，集群中所有的配置文件都这样配置。Rest为客户端UI显示使用，集群中所有的配置文件都这样配置。masters中添加master节点名，我这里是master。Task是每个节点工作使用的，每个节点的Task各不相同。配置完成后，在master节点运行。本次部署1.17+版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值