spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:
查看yarn的聚合日志,将日志下载下来查看。
yarn logs -applicationId application_1522668922644_40211 -out ./info
发现日志内的错误如下
java.io.FileNotFoundException: File does not exist: hdfs:/spark2-history
是因为在HDFS上没改文件夹,然后我们去创建
# hdfs dfs -mkdir /spark2-history
有发现我们没有权限
产生问题原因: