IDEA spark 中scala的编译版本问题解决NoSuchMethodError （jvm ）

最新推荐文章于 2023-07-10 14:10:42 发布

段智华

最新推荐文章于 2023-07-10 14:10:42 发布

阅读量2w

点赞数 1

分类专栏： SparkInBeiJing

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/71172100

版权

SparkInBeiJing 专栏收录该内容

81 篇文章 203 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

在使用IDEA进行Spark与Scala开发时，由于引入的jar包导致Scala版本冲突，引发了NoSuchMethodError。解决方法是检查并确保pom.xml文件中指定的Scala版本与Spark项目所需版本一致，避免版本不匹配带来的问题。

摘要由CSDN通过智能技术生成

Spark IDEA集成环境开发时，pom文件新安装了一些jar包，没注意到其中scala的版本被替换了，运行一个测试程序提示这个：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
	at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:793)
	at com.dt.spark.beijing.YueMeDemo$.main(YueMeDemo.scala:34)
	at com.dt.spark.beijing.YueMeDemo.main(YueMeDemo.scala)

Process finished with exit code 1

这个报错java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)不深入研究了，是jvm层面报出来的，JVM在加载时候没有发现这个方法。查下来就是scala的编译版本被替换了。将IDEA中将scala 2.12版本换成scala 2.11就好了。