spark on yarn 报 org.apache.hadoop.util.Shell$ExitCodeException: 问题

最新推荐文章于 2022-10-02 08:10:25 发布

AI_skynet

最新推荐文章于 2022-10-02 08:10:25 发布

阅读量3.5k

点赞数 1

分类专栏： spark 文章标签： yarn spark jdk hadoop

本文链接：https://blog.csdn.net/xinganshenguang/article/details/53586352

版权

在将基于Spark 1.6、JDK 1.7和Hadoop 2.7的Scala程序移植到使用JDK 1.6、Hadoop 2.2的环境中进行Spark on YARN测试时，遇到`org.apache.hadoop.util.Shell$ExitCodeException`错误。尝试更新jar、driver-class-path等方式未解决问题。通过分析日志发现，问题可能与JDK版本有关。实验表明，使用JDK 1.7的NodeManager可以成功运行，而JDK 1.6的则失败。最终，通过降级到Spark 1.4.0成功解决了问题，证实问题确实由版本不兼容引起。

摘要由CSDN通过智能技术生成

今天把新数据中心基于 spark 1.6 jdk 1.7 hadoop2.7的scala程序拿到老数据中心jdk1.6/jdk.17 hadoop 2.2 环境进行 spark on yarn测试
使用spark-shell 或者 spark-submit 提交时报如下错误

org.apache.hadoop.util.Shell$ExitCodeException: 
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
        at org.apache.hadoop.util.Shell.run(Shell.java:379)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launch