java.io.InvalidClassException(spark任务运行失败）

最新推荐文章于 2023-04-20 20:57:26 发布
最新推荐文章于 2023-04-20 20:57:26 发布
阅读量984 收藏
点赞数
文章标签： spark java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013446312/article/details/125905736
版权

背景：客户集群内偶尔会出现java.io.InvalidClassException: org.apache.kudu.spark.kudu.KuduRDD; local class incompatible: stream classdesc serialVersionUID = 1, local class serialVersionUID = 1738372855795541573，公司集群从未出现。

之前一直以为是版本问题，查找发现版本是一致的。
后查看yarn日志，发现只要报错的监控都跟某个节点相关。于是具体关注该节点

  1. 通过指令查看集群内的kudu相关包 在这里插入图片描述

  2. 发现报错的节点的spark目录有多余的jar 在这里插入图片描述
    移除后问题解决

  3. 原理spark任务运行时，driver节点的jar包和executor节点必须保持一致，出现此问题一般就是包版本冲突或者有多余的包

LATASA
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
spark远程提交报错
yy的博客
01-09 454
报错内容 Caused by: java.io.InvalidClassException: org.apache.spark.sql.execution.datasources.FilePartition; local class incompatible: stream classdesc serialVersionUID = 3545283692550565578, local class serialVersionUID = 7485156529130905057 我的代码 // 我这
java.io.InvalidClassException local class incompatible 处理方法
11-26
java.io.InvalidClassException local class incompatible 序列化的对象需要ID号，故需要手动指定ID号。
java io报错_解决错误java.io.InvalidClassException
weixin_32667011的博客
02-20 2618
今天遇到一个现场问题，任务报错java.io.InvalidClassException。在开发环境是没有报错的，正式环境报错。大概类似于下面这样(非报错原文，摘自网上同类博客)在网上查找资料后了解到 ：该异常是由于反序列化时, 当前类的serialVersionUID 与 反序列化后的类的serialVersionUID 不同所致。在未显示声明情况下由java编译器计算得出，但是不同的java编...
[已解决]报异常java.io.InvalidClassException的解决方法|对象序列化实现Serializable会出现java.io.InvalidClassException的异常
小小鱼儿小小林的博客
11-08 8116
一、前言 今天在增加完新功能后， 部署的时候，突然就遇到了java.io.InvalidClassException的问题，这些都是我们平常不注意细节造成的后果。 具体异常如下 分析异常：Caused by:java. io. InvalidClassException: com. eastcom xxx.xxxxxx. bean. AlarmReq; local class in...
java.io.InvalidClassException异常的解决办法
weixin_45417754的博客
03-01 3157
当序列化运行时检测到类中的以下问题之一时抛出。 一共有三种会产生异常的问题和解决办法： 类的串行版本与从流中读取的类描述符的类型不匹配 解决办法：serialVersionUID 是 序列号 如果我们自己没有定义，那么虚拟机会根据类中的信息会自动的计算出一个序列号。 不让虚拟机帮我们自动计算，我们自己手动给出serialVersionUID，而且这个值不要变。 给对象所属的类加一个下面的代码 private static final long serialVersionUID = 1L; 不要超过long
[Java]序列化和反序列化
weixin_30376323的博客
01-22 172
[Java]序列化和反序列化 序列化和反序列化 把对象转换为字节序列的过程称为对象的序列化。 把字节序列恢复为对象的过程称为对象的反序列化。 　对象的序列化主要有两种用途： 1） 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 2） 在网络上传送对象的字节序列。 在很多应用中，需要对某些对象进行序列化，让它们离开内存空间，入住物理...
解决报错：Caused by: java.io.InvalidClassException serial
最新发布
new_baibai的博客
04-20 325
在实现了Serializable的对象加一段serialVersionUID代码，如果还报InvalidClassException，将redis上的老数据清除。可能是将数据存储到 redis 之后，又将数据进行修改，导致 redis 跟 JVM 中的数据不一致。
Spark InvalidClassException
qq_42451723的博客
12-10 1795
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
解决在编程方式下无法访问Spark Master问题
weixin_30409849的博客
01-16 419
我们可以选择使用spark-shell，spark-submit或者编写代码的方式运行Spark。在产品环境下，利用spark-submit将jar提交到spark，是较为常见的做法。但是在开发期间，每次都需要编译jar去做提交是一件麻烦事儿。尤其是在IDE例如IntelliJ Idea下，更直接的方式还是在main()方法中直接通过SparkContext运行。例如： object DataF...
p29814665_122130_Generic.zip
08-23
29448643 JAVA.IO.INVALIDCLASSEXCEPTION: FILTER STATUS: REJECTED 29671623 CVE-2019-2725 26403575 CVE-2016-7103 29667975 CVE-2019-2824 29726561 CVE-2019-2729 29701537 CVE-2019-2827 1.2 Oracle WebLogic ...
聊天室java可以实现传送文件功能
04-22
JOptionPane.showMessageDialog(null, "连接到制定服务器失败！"); } catch (InvalidClassException e2) { JOptionPane.showMessageDialog(null, "类错误!"); } catch (NotSerializableException e3) { ...
spark 报错 InvalidClassException: no valid constructor
weixin_30861797的博客
03-19 457
1 2019-03-19 02:50:24 WARN TaskSetManager:66 - Lost task 1.0 in stage 0.0 (TID 1, 1.2.3.4, executor 1): java.io.InvalidClassException: xxx.xxx.spark.xxx.xxx.Test; no valid constructor 2 ...
java.io.InvalidClassException 解决方案
weixin_33860722的博客
06-01 1344
2019独角兽企业重金招聘Python工程师标准>>> ...
java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaRDDP
zhenzi_PeppaPig的博客
12-25 2455
单机运行不报错，集群模式报错： 因为本地单机配置了spark/conf/spark-env.sh export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath):/usr/local/spark/examples/jars/*:/usr/local/spark/jars/kafka/*:/usr/local/kafka...
java.io.InvalidClassException异常产生原因及解决方案
热门推荐
刘剑峰的博客
04-12 3万+
一、异常发生场景在使用Netty做Android消息推送时，发生了如下异常： io.netty.handler.codec.DecoderException: java.io.InvalidClassException: failed to read class descriptor 很明显这是一个跟编解码相关的异常二、异常产生原因在整个推的项目中，消息是一个Message类，Message必须
java.io.InvalidClassException异常解决
csdn565973850的博客
04-02 1万+
java.io.InvalidClassException异常解决1.什么是serialVersionUID2.java.io.InvalidClassException产生原因？3.java.io.InvalidClassException解决方案4.idea推荐插件 1.什么是serialVersionUID        ...
java.io.InvalidClassException异常如何处理？
技术积累，技术分享
11-05 626
1、解决方法： 可序列化类可以通过声明名为 “serialVersionUID” 的字段（该字段必须是静态 (static)、最终 (final) 的 long 型字段）显式声明其自己的 serialVersionUID： ANY-ACCESS-MODIFIER static final long serialVersionUID = 42L; 通俗来说就是，自己定义一个UID 2、图片为出现异常的过程的示意： ...
java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils 报错
向阳争渡
07-26 7502
经过2天的挣扎，终于解决了这个问题。 期间也遇到了其他问题，解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对，我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz，对应Scala 2.12,更换了kafka的版本后完美解决 ！！！！！细节很重要！！！！ 最后附上spark-submit提交语句，...
java.io.invalidclassexception
03-16
java.io.InvalidClassException是Java中的一个异常类，表示无效的类。当Java序列化或反序列化对象时，如果发现类的版本不匹配或类的结构发生了变化，就会抛出这个异常。这个异常通常发生在序列化和反序列化过程中，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值