@ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 一直accepted部署了一个

@ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 一直accepted部署了一个

面临的问题

部署了一个集群，用 spark-submit 提交任务之后 一直显示 accepted

已经试过的方法

网上的方法：

1. 调整 yarn 的最大最小可分配资源
2. 调整集群整个资源容量
3. 调整提交时的资源申请
4. 调整 spark 的资源配置
5. 集群 node unheathy 情况

结论

全部行不通

为什么会出现这些问题呢？
这些问题如何有效解决？

提交的命令

spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.7.jar 1000

终于找到原因

翻了很多资料，找了很多帖子。

都是无用的。

最终，偶然之间看到一个解释：

spark_env.sh中的配置需要增加一项。加了这一项之后，果然跑通了。

关于集群部署 hadoop + yarn + spark 这一套工具，总算有一个结果：跑通了。

下面开始用集群做 nlp 相关的工作࿰