spark 入门（二）

关于提交集群任务，test.py 是word count 例子，在上篇内容有提到

spark-submit --master spark://master:7077 --driver-memory 512M --executor-memory 512M test.py 

如果出现报错

initial job has not accepted any resources

参考：https://blog.csdn.net/gk91620/article/details/82659384

需要保证下面三点

第一点：--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数)，否则会出现资源不足报错

第二点：--executor-memorry <= SPARK_WORKER_MEMORY(spark-env.sh中设置的参数)，否则会出现资源不足报错

第三点：--executor-memory >= 470m

任务状态在8080端口查看

备注：如果出现 work 无法连接172.17.0.2的错误，可能是配置原因，修改配置文件 spark/conf/slaves，把 master 去掉