Spark on Yarn的常见错误

最新推荐文章于 2021-11-07 21:24:59 发布

muyingmiao

最新推荐文章于 2021-11-07 21:24:59 发布

阅读量606

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/muyingmiao/article/details/102750626

版权

本文介绍了在将Spark作业提交到Yarn上执行时可能遇到的问题。在使用`--master yarn`时，如果不指定`--deploy-mode cluster`，Spark会默认以client模式运行，这可能导致错误。为在Yarn上以cluster模式运行，需要明确添加`--deploy-mode cluster`选项，并确保环境变量`HADOOP_CONF_DIR`或`YARN_CONF_DIR`已正确设置。

摘要由CSDN通过智能技术生成

1. 将spark作业提交到yarn上执行
spark仅仅作为一个客户端

./spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
 /home/hadoop/app/spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/jars/spark-examples_2.11-2.3.1.jar \
3

--master yarn 相当于 --deploy-mode client，也就是yarn-client模式时，默认--deploy-mode client
如果是yarn-cluster模式，则需要写上--deploy-mode cluster

直接按上方代码启动，会报错：

Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
        at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:288)
        at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:248)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:120)
        at org.apache.spark.d