【Flink】Flink 状态恢复报错 StateMigrationException For heap backendsthe new state serializer must not be

已于 2022-02-27 10:58:08 修改
阅读量1.3k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 大数据
于 2022-02-26 22:17:57 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/123156865
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了Flink在状态恢复时遇到的StateMigrationException错误，原因是序列化器不兼容。当代码更改导致Java类无法被新旧序列化器识别时，会出现此问题。文章通过源码分析了可能的原因，包括类型不匹配、构造方法中的resultType初始化、新旧序列化器的创建等，并提供了解决方案，如使用JavaBean代替Scala case class。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

Flink 状态恢复报错 StateMigrationException For heap backendsthe new state serializer must not be incompatible with the old state serializer

具体如下

恢复前是

User{
   
	String userId;
	String userName;
}

ds.keyby
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink The new state serializer must not be incompatible with the old state serializer
九师兄
07-17 762
flink报错我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，您看一下这个有遇到过吗？有没有什么解决办法？这个 问题 就很奇怪 我的整个作业都是新启动的 没有和之前的作业有任何关系 然后它自己重启的时候就报这个错我去社区发邮件问了这个问题 有个人回答我 好像1.12版本 他们确实存在 这种bug。
Flink-跟着问题读源码：从Savapoint重启报错The new state serializer cannot be incompatible
三石
07-17 2377
flink相比于其他流计算引擎的一个非常大的优势在于它灵活可靠的状态管理机制，定时的快照可以保证实时计算的连续性与准确性，但是当后续的计算逻辑发生一定程序的变化时，并不能完全保证从原状态完整的恢复。 文章主要分为三部分： 问题复现及源码分析 flink state ttl的设置和创建 flink checkpoint在taskmanager中对state的快照 1、问题概要 商品热度值的flink实时计算作业的chekcpoint state size越来越大，于是计划对一个月内无任何分享、出价、收.
记录Flink广播里状态恢复问题
bwddd的博客
11-26 461
Flink
Java多线程之深入理解原子变量
chenliguan的博客
08-25 801
1 什么是原子变量？为什么需要它们呢？ 对于count++这种操作来说，通常使用synchronized关键字保证原子更新操作，synchronized会保证多线程不会同时更新变量count。但是，使用synchronzied成本太高了，需要先获取锁，最后还要释放锁，获取不到锁的情况下还要等待，还会有线程的上下文切换，这些都需要成本。 而Java从Jdk 1.5开始提供了java.util.con...
Flink 问题记录
文报的博客
10-31 1万+
1.集群突然宕机 找到Master节点的日志 vi 打开 Shift + g 跳到文件最后一行 Shift + n 查询任务名称找到对应的id 进入hdfs hadoop fs -ls /flink-checkpoints | grep 任务ID 找到id对应的checkPoint目录 进入目录 获取/flink-checkpoints/a1cb4cadb79c74ac8d3c7a11b6...
生产上的坑才是真的坑 | 盘一盘Flink那些经典线上问题
微信搜：import_bigdata，大数据领域硬核原创作者
03-18 1163
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源数据倾斜导致子任务积压业务背景一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚...
Flink状态管理（二）状态数据结构和注册流程
石权的博客
05-21 1324
Flink的状态存储算的是框架的一个精华，本文结合代码理解状态的注册过程，观察数据的存储结构
flink实战--核心概念解析和应用
阿华田的博客
03-05 1653
简介 在flink原理解析中https://blog.csdn.net/aA518189/article/details/82908993，我们把flink的概念以及原理整体介绍了一遍，接下来这篇文章会具体的解析每个原理的具体实现和使用方式。 1.流对齐(align) 首先谈到流对齐，那一定是多流处理。那对齐的是什么呢？其实对齐的是检查点中的Barri...
flinksql 添加字段从checkpoint重启的问题
wppwpp1的专栏
02-07 2017
flinksql 在group by添加字段后，从checkpoint重启会报错， 2022-02-07 18:28:33 java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTaskState
Flink常见异常和错误信息小结
LittleMagic's Blog
03-22 7873
周末了，不想搞长篇大论，就写写这样的流水账吧。 Flink的常见异常众多，不可能面面俱到，所以想到哪儿写到哪儿，有漏掉的之后再补充。 部署和资源问题 (0) JDK版本过低 这不是个显式错误，但是JDK版本过低很有可能会导致Flink作业出现各种莫名其妙的问题，因此在生产环境中建议采用JDK 8的较高update（我们使用的是181）。 (1) Could not b...
Flink常见异常&解决办法
weixin_36340771的博客
01-12 1437
Flink版本问题，从1.13.2升级到1.14.6，问题解决~
Flink状态管理：Keyed State和Operator List State深度解析
皮皮鲁的AI星球
01-28 2170
本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。 为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因...
c++ 外部组件发生异常_Flink常见异常和错误信息小结
weixin_39916360的博客
11-20 718
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Flink的常见异常众多，不可能面面俱到，所以想到哪儿写到哪儿，有漏掉的之后再补充。部署和资源问题(0) JDK版本过低这不是个显式错误，但是JDK版本过低很有可能会导致Flink作业出现各种莫名其妙的问题，因此在生产环境中建议采用JDK 8的较高update(我们使用的是181)。(1) Cou...
2022年最新版 | Flink经典线上问题小盘点
微信搜：import_bigdata，大数据领域硬核原创作者
01-12 2921
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文已经加入「大数据成神之路PDF版」中提供下载。你可以关注公众号，后台回复：「PDF」即可获取。2020年和2021年分别写了...
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1930
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
20、Flink 的 State Backends 代码示例
最新发布
猫猫爱吃小鱼粮
05-08 209
Flink 的 State Backends 代码示例
Flink中遇到的问题
index_test的博客
02-24 2830
解决遇到的一些问题
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值