记录-----解决Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensu问题

大多数是集群资源有限导致的问题。注意合理分配资源

 

原则1：首先，保证至少有一个executor可以成功启动，否则，提交的spark应用是无法跑起来的

如何保证？

第一点：--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数)，否则会出现资源不足报错

 

第二点：--executor-memorry <= SPARK_WORKER_MEMORY(spark-env.sh中设置的参数)，否则会出现资源不足报错

 

第三点：--executor-memory >= 470m

 

 

SPARK_WORKER_CORES和SPARK_WORKER_MEMORY在spark MasterWebUI（http://master:8080/）中体现如下图：

 

一、二两点报错体现如下：

报错在日志中体现如图：

报错在WebUI中体现如图，无任何executor启动：