关于提交集群任务,test.py 是word count 例子,在上篇内容有提到
spark-submit --master spark://master:7077 --driver-memory 512M --executor-memory 512M test.py
如果出现报错
initial job has not accepted any resources
参考:https://blog.csdn.net/gk91620/article/details/82659384
需要保证下面三点
第一点:--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数),否则会出现资源不足报错
第二点:--executor-memorry <= SPARK_WORKER_MEMORY(spark-env.sh中设置的参数),否则会出现资源不足报错
第三点:--executor-memory >= 470m
任务状态在8080端口查看
备注:如果出现 work 无法连接172.17.0.2的错误,可能是配置原因,修改配置文件 spark/conf/slaves,把 master 去掉