Spark集群安装遇见的问题

一、集群某些节点不参与spark的计算

        将spark与yarn适配后，我向集群提交主节点提交spark提供的计算圆周率的exampleDemo，提交后，运行过程中输入jps，发现除了提交的当前节点会出现SparkSubmit、CoarseGrainedExecutorBackend 以外，其他的节点都没有出现CoarseGrainedExecutorBackend，也就是说整个spark计算时，只有当前的节点参与了计算。

spark-submit --master yarn \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 2000

提交计算圆周率的SPARK.jar包

其他节点jps查看进程未找到spark excutor

于是便开始思考是哪里发生了问题，突然便想到了spark的slaves.template文件（定义在哪些集群上启动spark work），打开后果然发现所有的节点slaves都没有修改。

添加自己集群的映射主机名，重新启动后发现所有的节点都出现了spark的excutor