spark-submit 报 NoClassDefFoundError 解决

最新推荐文章于 2024-12-16 19:28:57 发布

以浪为码

最新推荐文章于 2024-12-16 19:28:57 发布

阅读量1.1w

点赞数 1

分类专栏： Spark-疑难杂症文章标签： exception Spark Scala

本文链接：https://blog.csdn.net/u013054888/article/details/54600229

版权

当使用spark-submit提交Scala App时遇到NoClassDefFoundError异常，问题源于Scala版本不一致。解决方法是将系统Scala库和编译时使用的Scala版本更改为与Spark 2.0.2匹配的2.11.8。通过检查$SPARK_HOME/jars下的jar包确定Spark所对应的Scala版本。

摘要由CSDN通过智能技术生成

spark-submit 报 NoClassDefFoundError 解决

报错信息

在使用 spark-submit 提交 scala App 的时候，报出了一下异常，而代码就简单的调用了一下 map() 方法：

Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
    at com.henvealf.spark.learn.mapPartitonsTest$.main(mapPartitonsTest.scala:33)
    at com.henvealf.spark.learn.mapPartitonsTest.main(mapPartitonsTest.scala)
    at sun