spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算

#-----------------------------环境如下----------------------------------------------------

台式机hostname:Desktop

笔记本hostname:Laptop

#---------------------------------------------------------------------------------

台式机jps:

13698 JobHistoryServer
11043 HistoryServer
22436 ExecutorLauncher
10789 Master
8392 NameNode
18602 SparkSubmit
10954 Worker
8571 DataNode
8795 SecondaryNameNode
17275 ResourceManager
24140 Jps
17550 NodeManager

笔记本jps

17668 DataNode
24279 Worker
1149 Jps
909 CoarseGrainedExecutorBackend
910 CoarseGrainedExecutorBackend
28991 NodeManager

注意首先确保上面加粗的全部启动，非加粗的有些是提交任务后出现的，在启动检查这一部分可以忽略

#---------------------------------------------------------------------------------

问题如下:

启动集群log中没有报错，

启动集群log中没有报错，

提交spark任务没有报错。

但是web UI只有Desktop在工作，Laptop不工作，这是咋回事呢？

#--------------------------------------------------------------------------------

经过网友的指点:

打开master:8088/cluster/scheduler,下面的图形不准确哈，看下绿条是否是100%了，

如果是的话，表明资源耗尽,解决方案:

$HADOOP_HOME/etc/hadoop/yarn-site.xml中

<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1500</value>
</property>

上面这个绿色进度条所表示的队列的总长度是Memory Total

绿色进度条所表示的每个节点占据的内存可以在http://master:8088/cluster/nodes中看到,如下:

当上图中的Desktop(master)超过Memory Total时，就会发生"所有节点都启动，但是只有一个节点实际参与计算"的现象。

同理可以扩展到:

当上图中的少量节点的Mem Used之和超过Memory Total时，就会发生"所有节点都启动，但是只有部分节点实际参与计算"的现象。

 

Reference:

[1]Yarn的WEB UI的详细说明