@ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 一直accepted部署了一个
面临的问题
部署了一个集群,用 spark-submit 提交任务之后 一直显示 accepted
已经试过的方法
网上的方法:
1. 调整 yarn 的最大最小可分配资源
2. 调整集群整个资源容量
3. 调整提交时的资源申请
4. 调整 spark 的资源配置
5. 集群 node unheathy 情况
结论
全部行不通
为什么会出现这些问题呢?
这些问题如何有效解决?
提交的命令
spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.7.jar 1000
终于找到原因
翻了很多资料,找了很多帖子。
都是无用的。
最终,偶然之间看到一个解释:
spark_env.sh中的配置需要增加一项。加了这一项之后,果然跑通了。
关于集群部署 hadoop + yarn + spark 这一套工具,总算有一个结果:跑通了。
下面开始用集群做 nlp 相关的工作