spark点点滴滴 —— 运行scala任务异常处理

最新推荐文章于 2021-12-08 17:25:58 发布

简牧

最新推荐文章于 2021-12-08 17:25:58 发布

阅读量2.2k

点赞数

分类专栏： spark 文章标签： scala spark 异常处理

本文链接：https://blog.csdn.net/qq_35799003/article/details/71223675

版权

在使用Spark 2.0.1提交Scala任务时遇到失败，错误源于Maven配置的Scala版本不匹配。解决方案是将Scala版本调整为2.11.8，并执行`mvn clean`清理项目，然后重新`mvn package`打包。忽视`mvn clean`导致更改未生效，是问题的关键。遵循此步骤，成功解决问题。

摘要由CSDN通过智能技术生成

spark版本：2.0.1
最近在用spark提交scala语言写的任务时，提交任务总是失败，异常如下：

17/05/05 18:39:23 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;
java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;
    at LRPipeline$.main(LRPipeline.scala:17)
    at LRPipeline.main(LRPipeline.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun