ClassCastException field org.apache.spark.rdd.MapPartitionsRDD.f of type scala.Function3 in instance

最新推荐文章于 2023-10-09 09:05:49 发布
最新推荐文章于 2023-10-09 09:05:49 发布
阅读量688 收藏 1
点赞数
分类专栏： Bug解决 文章标签： scala spark apache kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45162906/article/details/126031541
版权

记一次spark on k8s 运行aplication时的java.lang.invoke.SerializedLambda问题

堆栈信息如下：

WARN 22/07/28 11:25:30 TaskSetManager: Lost task 45.0 in stage 6.0 (TID 97) (172.16.13.61 executor 3): java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRDD.f of type scala.Function3 in instance of org.apache.spark.rdd.MapPartitionsRDD
	at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2301)
	at java.io.ObjectStreamClass.setObjFieldValues(ObjectStreamClass.java:1431)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2411)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:488)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1184)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2296)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:488)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1184)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2296)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:488)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1184)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2296)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:488)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1184)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2296)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:76)
	at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:115)
	at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:85)
	at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:52)
	at org.apache.spark.scheduler.Task.run(Task.scala:131)
	at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:506)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1462)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:509)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

Serialized问题产生原因

主要有一下几个方面：
①、你编写的application jar是否拷贝到了k8s启动的executor内
②、你运行的程序与spark image中java版本不一致
③、你运行的程序与spark image中scala版本不一致
④、是否引入了一些别的组件比如delta，你运行的程序与spark image中delta版本不一致

第①个原因
如果standalone环境下 spark-submit的方式你程序的jar包是会默认的分发到每一个executor内故不会出现SerializedLambda的问题
如果你是idea中链接spark集群也会出现SerializedLambda问题，因为idea并没有分发jar包的功能
设置完以后executor的启动日志中会出现主动去master中拉相关的jar包，并放在work-data的目录下然后再class load

解决方式：代码中设置一下
![application jar](https://img-blog.csdnimg.cn/1d4bc9c9b2554d0993affcbbb997ea83.png)
第②、③原因
driver在分发任务代码是会经过序列化和反序列化，如果版本不一致的话会导致executor反编译出来的代码不一致，如果出现这个问题需要检查一下你项目代码和spark dockefile中的相关组件版本
第④个原因
我的情况是我项目代码中用到了delta，然后我直接用官方的spark dockerfile构建了spark images，运行时出现了SerializedLambda的问题
登录到启动的executor内发现/opt/spark/jars目录下没有delta相关的jar包，所以是因为这个delta jar没同步的原因（这里的话建议用spark源码来构建spark image）
所以将delta的jar也通过setJars的方式设置了，结果也想①一样主动去拉后加载
![在这里插入图片描述](https://img-blog.csdnimg.cn/1e4c5b01f07a40c7ba7506115e978ebb.png)
今天努力了吗？？
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffse
JasonLee实时计算
01-05 4803
最近有很多同学来问我这个问题,说我的代码啥也没改呀,昨天晚上还运行的好好的,第二天早上再运行就报错了,org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffsetRanges,怎么都运行不了,这个错相信大家都非常的熟悉,就是一个类型转换异常,从报错上看呢,说...
Mybatis报错: org.apache.ibatis.exceptions.PersistenceException解决办法
09-09
在使用Mybatis框架时，你可能会遇到`org.apache.ibatis.exceptions.PersistenceException`这样的异常。这个异常通常表示在执行数据库查询操作时遇到了问题。本篇将详细分析这个问题并提供解决方法。 ### 问题概述 ...
cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartiti
微电子学与固体电子学-俞驰
08-06 4386
碰到这么个问题: 20/08/06 10:26:45 WARN TaskSetManager: Lost task 1.0 in stage 1.0 (TID 2, 192.168.0.103, executor 1): java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRDD.f of ty
java.lang.ClassCastException：org.apache.spark.rdd.MapPartitionsRDD
热门推荐
xugen12的专栏
09-04 1万+
再搭建的spark源码环境上，启动master与worker进程，然后将简单的单词统计代码提交到集群中，产生以下错误： 17/09/04 11:11:47 INFO DAGScheduler: ShuffleMapStage 0 (map at wordCount.scala:42) failed in 6.941 s due to Job aborted due to stage failur
RDD的分区计算-mapPartitions
weixin_37353303的博客
04-21 1754
spark中RDD计算是以分区为单位的，而且计算函数都是在对迭代器复合，不需要保存每次计算的结果。mapPartitions的输入函数是应用于每个分区，也就是把每个分区的内容作为整体来处理的： def mapPartitions[U:ClassTag](f:Iterator[T]=>Iterator[U], preservesPartitioning:Boolean=false):RDD[U...
java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field
微电子学与固体电子学-俞驰
07-30 8221
在java连接集群的时候出错，完整报错如下: 20/07/30 11:04:11 WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 192.168.0.102, executor 0): java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartit
Java中区别.toString() ,(String),valueOf()方法
08-31
在Java编程语言中，将对象转换为字符串是一个常见的操作，主要涉及到`toString()`、`(String)`类型转换以及`String.valueOf()`这三个方法。了解它们的区别和使用场景对于编写高质量的Java代码至关重要。 首先，`...
java.util.ConcurrentModificationException 解决方法
09-01
3. **使用并发友好的集合类：** Java 提供了并发支持的集合类，如 `ConcurrentHashMap`。它允许在多线程环境中并发读写，内部已经处理了并发修改的问题。所以，你可以将 `HashMap` 替换为 `ConcurrentHashMap` 来...
java参考题库.docx
02-27
7. 类与对象：尝试将父类引用指向子类对象时，如果类型不匹配，会在运行时抛出`ClassCastException`。 8. 访问修饰符：私有(`private`)修饰符用于限制成员变量只能在类内部访问，不能被外部类直接访问。 9. 文件流...
Java Collections.sort()实现List排序的默认方法和自定义方法
08-30
如果元素类型没有实现Comparable接口，将抛出ClassCastException异常。 下面是一个使用Collections.sort()方法对List进行默认排序的示例代码： ```java List<String> list = new ArrayList(); list.add("刘媛媛");...
Cannot deserialize instance of `java.lang.Long[]`
deadchance的博客
07-08 4017
Caused by: com.fasterxml.jackson.databind.exc.MismatchedInputException: Cannot deserialize instance of java.lang.Long[] out of VALUE_STRING token at [Source: (PushbackInputStream); line: 1, column: 1] 这种情况兄弟们。我是应为后台接受的是 前台：js; vm.inspectionTas.inspectionTa
Cause: cannot assign instance of java.lang.StackTraceElement to field java.lang.StackTraceElement.mo
最新发布
柳鲲鹏
10-09 642
这是一个结果错误，是结合之前的信息看看，具体问题。
java spark-streaming java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRD
临地的博客
08-11 533
再次吐槽，spark的文档对初学者真的非常不友好。 同时下面的错误大概率也是可以解决掉的。 java.io.IOException: 远程主机强迫关闭了一个现有的连接 问题描述 在本地idea执行spark streaming相关代码时， setMaster为“local[2]”时，我是可以正常执行的，但是当我在 StandAlone 模式下启动本地集群的 setMaster 时，就会出现这个错误。 然后我分别根据不同的搜索结果，设置jars等，甚至看到官网关于此问题的两个issue ht
spark的yarn集群运行问题集锦
tamir随笔
07-29 1701
环境：spark是2.1.1，hadoop是2.6.0 1. 对于yarn集群提交方式conf.setMaster("spark://master:7077")不是必须设置的。 2. spark yarn提交命令，网上说的那些很多是基于spark standalone或者local方式的提交，具体也可参考官网http://spark.apache.org/docs/2.1.1/running-...
执行spark报错EOFException Kryo和SerializedLambda问题的解决办法
hsg77的专栏
01-07 1691
执行spark报错EOFException Kryo和SerializedLambda问题的解决办法 EOFException Kryo问题解决办法： 发布到spark的worker工作机的项目依赖库中删除底版本的kryo文件，如下： 在执行环境中删除kryo-2.21.jar文件和保留kryo-shaded-3.0.3.jar文件，执行就OK了。 经过查看在kryo-shaded-3.0.3.j...
spark java lambda_Spark SerializedLambda错误解决方案
weixin_30980025的博客
02-25 305
在IDEA下开发Spark程序会遇到Lambda异常,下面演示异常及解决方案。例子importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.f...
spark java lambda_java.lang.ClassCastException在远程服务器上的spark作业中使用lambda表达式...
weixin_42524401的博客
02-25 264
你在这里有一个掩盖原始错误的后续错误.当lambda实例被序列化时,他们使用writeReplace来解析它们的JRE特定实施从持续的形式是一个SerializedLambda实例.当SerializedLambda实例被还原时,它的readResolve方法将被调用重建适当的lambda实例.正如文档所说,它将通过调用定义原始lambda的类的特殊方法(参见this answer)来实现.重要的...
spark java lambda_java.lang.ClassCastException在远程服务器上的Spark作业中使用Lambda表达式...
weixin_31477659的博客
02-25 188
我正在尝试使用sparkjava.com框架为我的Apache Spark作业构建Web API。我的代码是：@Overridepublic void init() {get("/hello",(req, res) -> {String sourcePath = "hdfs://spark:54310/input/*";SparkConf conf = new SparkConf().set...
java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD
06-01
这是一个 ClassCastException 异常，它表示无法将 scala.collection.immutable.List$SerializationProxy 实例分配给 org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ 类型的字段，因为它们类型不...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值