答主是一名刚接触Hadoop,Spark的小白工程师,该文章整理答主在开发过程中遇到的一些Spark的错误,将会持续更新。
1)
Exit Code:13
Stack trace:ExitCodeException exitCode=13:
org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
...
错误原因:任务在提交时采用了yarn的模式,但是在代码中也也指定了部署模式为standalone,造成冲突
解决办法:删除源码中.setMaster()方法行,另外,推荐Spark-submit的提交参数都通过命令行来指定,使用源码确定参数会造成之后对程序的修改和维护的不方便
2)