Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources

 

错误提示：
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus
ter UI to ensure that workers are registered and have sufficient resources
调度器：初始化Job时没有足够的资源，检查你的ClusterUI确保Worker节点已经注册并且有足够的资源

 

发生此错误的原因可能有两个：

1. 主机主机名和ip是否配置正确

    先查看/etc/hosts文件配置是否正确
                           vi /etc/hosts

    查看是否主机名和IP号一致

2.内存或者Core数不够。

     由于我之前没有设置Spark_EXECUTOR_MEMORY,这个值默认值为1024M，所以内存不够，无法成功运行。可以在Spark-webUI上可以看到

 

方法：

                cd $SPARK_HOME/conf

                 vi spark-env.sh

添加         export SPARK_EXECUTOR_MEMORY=512M

 

错误提示信息：

sc.textFile("hdfs://node001:8020/spark/data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()
[Stage 0:>