initial job has not accepted any resources的spark错误解决办法

initial job has not accepted any resources的spark错误解决办法

原创  2016年03月04日 16:57:35

• 标签：
• spark /
• 多个程序 /
• 同步提交

• 1936

在运行多个spark应用程序的时候，经常会出现initial job has not accepted any resources的错误。

而如果用spark-submit方式提交的话，经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。

经过仔细检查，发现是CORES的问题，由于之前的程序将CORES全部占用，而后来的任务没有足够的CPU来支撑，因此只能在WAITING。

因此只需要在RUN之前进行核数配置就可以。