YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式

最新推荐文章于 2024-09-20 20:00:20 发布

WaveVector

最新推荐文章于 2024-09-20 20:00:20 发布

阅读量3.7w

点赞数 4

分类专栏：分布式文章标签：异常 yarn

本文链接：https://blog.csdn.net/wendingzhulu/article/details/53571529

版权

当遇到YARN调度报错Stack trace: ExitCodeException exitCode=1时，不能仅依赖表面的堆栈信息。需深入分析ApplicationMaster和NodeManager日志，因为某些异常显示可能不准确。问题可能与资源配置、权限有关。调整配置如yarn-site.xml的参数和vcores无效时，检查ResourceManager日志揭示实际问题可能是权限不足。解决方案是将执行用户添加到HDFS的默认超级用户组supergroup。

摘要由CSDN通过智能技术生成

网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。

问题的具体堆栈信息如下

Stack trace: ExitCodeException exitCode=1:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
        at org.apache.hadoop.util.Shell.run(Shell.java:455)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211