【Flink】Flink Session 任务报错 StreamTaskExecutor Cannot instantiate user function

于 2024-03-16 06:00:00 发布
阅读量307 收藏
点赞数 4
分类专栏： 大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/131577162
版权
大数据-flink 专栏收录该内容
838 篇文章 846 订阅 ¥99.90 ¥299.90
订阅专栏
本文记录了在Flink Yarn Session模式下遇到的流计算任务报错，问题表现为StreamTaskExecutor无法实例化用户函数。问题由Jar缓存引起，重启Flink Session和任务后解决。GPT建议检查Jar文件完整性和清除集群缓存作为进一步解决方案。此外，还提及了相同问题在Flink on Yarn模式中重现，同样归因于缓存问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

20230706 九师兄笔记。

flink yarn session模式下，流计算任务报错 StreamTaskExecutor Cannot instantiate user function,loacl class incompatible stream classdesc serialVersionUID

详情信息如下

在这里插入图片描述
但是我是可以保证这个类是没有变化过的

在这里插入图片描述

在这里插入图片描述
后面我同事说他遇到过这个问题，重启一下flink sesssion 就好了，然后在重启任务就没事了。

验证过，果然如此。

2.GPT的回答

如果重新启动 Flink Session 并重新启动流任务后问题得到解决，那很可能是由于 Flink Session 模式下的 Jar 缓存导致的问题。

在 Flink Session 模式下，Flink 会缓存应用程序的 Jar

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink SQL Cannot instantiate user function cannot assign instance LinkedMap FlinkKafkaConsum
九师兄
01-19 2423
写了一个flink程序，然后运行报错如下。 程序如下 但是这个程序，本地java -jar 运行不会报错，但是服务器上flink ui 提交报错 具体报错如下 最后配置如下参数，该错误消失 最后说一下，千万不要写错，不然就跟这个老弟一样根据报错位置找到如下代码 这里首先参考图，前面已经将流任务优化成chain后的算子了，比如中间的，2个算子合成一个了。 然后getStreamOperatorFactory方法会根据不同的task构造不同的OperatorFactory 然后这里调用了一个静态方法，这里有一个
【flink报错大全】报错及解决方案
张小小凡
07-17 2313
服务器部署jar时报错 Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:291) ~[app-test.jar:?] at org.apache.flin
Flink 实战问题（六）：Cannot instantiate user function、StreamCorruptedException: unexpected block data
在前进的路上
06-12 4611
Flink 任务提交，刚启动，一直运行报错：org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function、StreamCorruptedException: unexpected block data
Cannot instantiate user function.
追赶者的博客
09-26 6118
Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfi...
Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user fun
qqmengxue oracle
04-16 2267
默认首先从用户代码jar加载类，修改/onf/flink-conf.yaml : classloader.resolve-order: parent-first
flink客户端提交任务报错
wudonglianga的专栏
06-07 2370
【代码】flink客户端提交任务报错。
Flink提交运行中常见问题总结，Flink开发问题汇总
mojolang
01-24 6239
Flink开发问题汇总 一、flink里面能调用图算法吗？ 二、Cannot instantiate user function 三、本地idea开发flink程序并本地运行读取HDFS文件 四、The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed 五、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id contain
flink集成hive中遇到的问题以及解决方案
leoma2012的博客
12-06 3721
版本： 1）hadoop：2.7.2 2）hive：2.3.4 3）flink：1.11.2 4）os：centos 7.5 1. 首先集成hadoop 1.1 添加如下依赖，因为会有jar包冲突的问题，注意jar包的 ，以及jar包的 ，否则会报类似 hadoop.config找不到的错误 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-hive --&
Flink CDC 报错记录
qq_41875667的博客
05-31 992
Flink cdc 报错记录
flink 使用问题记录
岁月静好，做自己。
02-23 2654
1. 提交flink任务： Process finished with exit code 130 org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e87852fa7a12e2276e2876c067a not found at org.apache.flink.runtime.rest.handler.job.AbstractExecutionGraphHandler.lambda$handleRequest$1(AbstractE
记录：Dinky 连接Flink推送任务local class incompatible: stream classdesc serialVersionUID = -61472550461454874
ljh1228的博客
09-23 1351
Dinky成功推送的，Flink运行失败，原因还在于Flink，需要从Flink这边排查。我的Dinky版本0.6.7，对应的Flink版本是1.14部署到linux上，根据一下连接进行Demo练习，在flink SQL中执行这个demo是没问题的。，最后把Flink的lib下的ES Jar包，版本降低到1.14.0。这个原因是因为Flink没有引入flink.json的Jar包。linux上部署的Flink版本是flink-1.14.5，，随后我想在dlink中连接flink执行，就一直报错，
【Flink】Flink任务local class incompatible: stream classdesc serialVersionUID = -61472550461454874
最新发布
九师兄
03-11 177
然后我更新了一下web和flink目录下的文件，然后打包结构如下，只打了web包，然后升级了。然后web回调用脚本启动flink任务，但是却报错。今天提交flink任务报错，我的项目结构如下。后来尝试整个更新，然后问题就好了。
解决local class incompatible stream classdesc serialVersionUID = 7170114032608506842, local class seri
StandByMeQuan
10-20 4867
解决local class incompatible stream classdesc serialVersionUID = 7170114032608506842, local class serialVersionUID = -1733029019300536305 今天更新代码后突然就报这个异常，于是本能反应先百度，找了很久，说是这个类没有序列化，尝试了加序列号的方法，还是无果，于是继续查找解决方案，果真还真有和我这个一样的，原因出在redis 我们使用的是单点登录，然后把user序列化在redis
Flink Yarn 模式启动 错误问题集锦
我是小坏
02-20 4150
1、Yarn 模式启动找不到类的问题 Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(C...
Flink之四 容错机制
追赶者的博客
02-04 1531
Flink流处理的容错机制          批处理系统比较容易实现容错机制，由于文件可以重复访问，当某个任务失败后，重启该任务即可。但是在流处理系统中，由于数据源是无限的数据流，一个流处理任务甚至可能会执行几个月，将所有数据缓存或是持久化，留待以后重复访问基本上是不可行的。Flink基于分布式快照与可部分重发的数据源实现了容错，用户可自定义对整个Job进行快照的时间间隔，当出现任务失败时，
大数据框架调研-流处理-Spark与Flink
clearlxj的博客
09-30 777
实时处理（流处理） 结论 Spark和Flink的数据源最好都是Kafka等消息队列，这样才能更好的保证Exactly-Once（精准一次）； 作为流处理框架，Flink是当前最优秀的实时处理框架，并处于飞速发展的状态中； Spark社区活跃度高，生态圈庞大，Spark-Streaming技术成熟稳定，且Spark是批处理框架中使用最为广泛的框架，如果需要批处理的情况下，批处理和流处理都是用Spark，可以大大减少框架的学习成本，并且不需要不同的框架，因此在没有特殊情况时，推荐使用Spark-Streami
关于cannot instantiate the type
热门推荐
ff_1597892573的博客
08-12 2万+
我是java初学者，在编写猜数字小游戏中的过程中出现了很多错误，这对于初学者来说很正常。           在这些问题中，cannot instantiate the type CSZFrame (不能初始化CSZFame 这个类) 这个问题困扰我较久。我在网上百度了一下，有说是因为类被抽象化了，有说是构造函数被私有化了，也有说是有导入jar包，这些都试了，行不通。最后才发现我在界面类创建的是
flink本地允许成功 打包报错找不到类
04-28
如果在本地运行Flink程序时成功了，但是在打包时出现找不到类的报错，那么可能是以下几个方面的原因： 首先，程序在本地运行时可能会依赖本地的一些库文件，但是在打包时没有将这些依赖的库文件打入到jar包中，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值