【Flink】flink 状态恢复 because the operator is not available in the new program

于 2022-12-03 00:30:00 发布
阅读量734 收藏 1
点赞数 1
分类专栏： 大数据-flink 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125192920
版权
本文介绍了在使用Flink进行状态恢复时遇到的问题，详细解析了`restoreSavepoint`和`loadAndValidateCheckpoint`两个关键步骤。错误提示表明由于操作符在新程序中不可用，导致状态无法恢复，可能原因是代码更改导致原有算子无法匹配。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

感谢您抽出

d8ecf8f7cdd8d9b7e0826c850ad06ad8.gif 535eeda53630e8537f22b0d62955c5fa.gif 0e3916616ab817aa003fb7fd1f121978.gif

一个flink环境做状态恢复报错：because the operator is not available in the new program。详细错误如下

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams
程序员光剑
12-27 9281
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams 关键词 分布式流处理 分布式计算引擎 All streaming use cases Event-driven Applications Stream & Batch Analytics Data Pipelines &a...
Flink实战问题（三）： Failed to rollback to checkpoint/savepoint
在前进的路上
12-28 2986
一、背景 二：错误 Caused by: java.lang.IllegalStateException: Failed to rollback to checkpoint/savepoint hdfs://127.0.0.1/flink-checkpoints/78f7cb6b577fe6db19648ca63607e640/chk-6976. Cannot map checkpoint/savepoint state for operator e75d4004e6c5f0908bd4077fc
The operator 'ADD' is not supported between objects of type 'java.util.Date' and 'java.lang.Boolean
weixin_39638459的博客
12-08 4478
flink优化专题-05-Job 优化
q287573145的博客
04-03 1462
1、使用 DataGen 造数据 开发完 Flink 作业，压测的方式很简单，先在 kafka 中积压数据，之后开启 Flink 任务， 出现反压，就是处理瓶颈。相当于水库先积水，一下子泄洪。 数据可以是自己造的模拟数据，也可以是生产中的部分数据。造测试数据的工具： DataFactory、datafaker 、DBMonster、Data-Processer 、Nexmark、Jmeter 等。 Flink 从 1.11 开始提供了一个内置的 DataGen 连接器，主要是用于生成一些随机数， 用于在没
flink常见故障排除
最新发布
第一片心意的博客
10-16 6731
flink常见故障排除
FlinkSQL报错：org.apache.flink.util.FlinkException: Could not upload job files.
yuchendejiyi的博客
03-31 6709
1、首先我使用的Flink版本 Flink1.12.0 2、出现错误场景 在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息 ---> 报错信息 ---> 分析 org.apache.flink.util.FlinkException: Could not upload job files 这个错误较为笼统，根据这个定位会很模糊，值得注意的是下面的报错： 20
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
Concepts:Flink Architecture
weixin_48813624的博客
08-17 643
Flink Architecture
flink1.15消费kafka之checkpoint 一
yiweiyi329的博客
07-10 2313
flink1.15源码实践
Flink 源码笔记03—StreamGraph到JobGraph
yiyezhiqiu167的博客
10-13 611
文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable 简介 JobGraph 可以认为是 StreamGraph 的优化图，它将一些符合特定条件的 operators 合并成一个 operator chain，以减少数据在节点之间序列化/反序列化以及网络通信带来的资源消耗。 入口函数 与 StreamGraph 的生成类似，调
Flink本地运行WebUI日志问题
zhuang_wk的博客
09-05 5821
Flink程序运行后，在WebUI页面无法查看jobManager日志或者taskManager日志，归根结底是日志配置的问题，引入或修改相关日志文件配置项即可解决。
定期整理-todo
三石
03-24 609
Failed to rollback to checkpoint/savepoint hdfs. Cannot map checkpoint/savepoint state for operator to the new program, because the operator is not available in the new program. If you want to a...
【Flink】Flink 状态恢复 Failed when trying to restore heap backend
九师兄
06-05 744
检查文件系统状态后端： 由于报错信息中涉及到文件系统状态后端（FsStateBackend），请确保你的文件系统状态后端的配置正确，路径存在并且有足够的权限。检查堆状态后端： 如果你的应用程序正在使用堆状态后端，可能需要检查你的Flink任务是否足够的内存来存储状态。检查配置： 确保你的Flink配置正确，特别是与状态后端和状态存储相关的配置。考虑调整状态的大小或者考虑使用其他支持更大状态的状态后端。查看其他日志： 仔细查看Flink任务的其他日志，看是否有其他有关状态恢复的信息或其他异常。
Flink任务请求一次后失败，task无限重启
Baron_ND的博客
08-04 2306
在flink上提交任务的时候，获取Oracle的数据计算后可以正常回调，但是获取hbase的数据后，只能回调一次后，task就卡住了，最后通过修改元空间 增加启动yjm和ytm搞定 jobmanage日志如下： 7:45:11.443 TKD [main-EventThread] ERROR o.a.f.s.c.o.a.c.ConnectionState - Authentication failed 17:45:20.998 TKD [flink-rest-server-netty-worker.
hudi flink 集成error ，未解决
08-07 977
2021-08-07 10:29:55 org.apache.flink.util.FlinkException: Error from OperatorCoordinator at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder.notifySubtaskReady(OperatorCoordinatorHolder.java:426) at org.apache.flink.runt...
Flink1.8开发过程遇到的问题
magic_kid_2010的专栏
07-24 1万+
最近在开发flink1.8过程中，提交任务到yarn遇到了一些问题，特将问题及解决办法整理出来。 一、Caused by: java.lang.ClassCastException: org.apache.hadoop.yarn.proto.YarnServiceProtos$RegisterApplicationMasterRequestProto cannot be cast to com....
【Flink】FlinkException The file LOG does not exist on the TaskExecutor
九师兄
07-21 6000
1.背景 偶然程序报错这个，看起来是源码里面的东西 org.apache.flink.util.FlinkException: The file LOG does not exist on the TaskExecutor. at org.apache.flink.runtime.taskexecutor.TaskExecutor.requestFileUpload(TaskExecutor.java:935) at sun.reflect.NativeMethodAcce.
在idea中测试flink的流批处理时,读文件时出现错误
zaijainruqiu的博客
08-12 1026
idea无法读取相对路径文件
Apache Flink CEP：实现超时状态监控的详细教程
本文将详细介绍如何在Apache Flink CEP中实现超时状态监控的步骤。 首先，理解基本概念。DataStream是Flink中最基本的数据处理单元，它是由相同类型事件或元素组成的一系列数据。通过诸如filter、map等转换操作，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值