Yarn 任务最大并行数量

问题

有大量资源的情况下提交的spark任务一直处于Pending状态，无法获取资源并运行。

Spark On Yarn

对spark on yarn研究比较多的朋友都应该发现过你明明给executor申请了1GB内存，结果发现该executor占用了yarn的2GB内存。对于spark的driver和executor在申请内存的时候有个计算公式：

spark.yarn.am.memoryOverhead 
除了指定的申请资源外额外申请（yarn-client模式）：
AM memory * 0.10, with minimum of 384
spark.driver.memoryOverhead 
除了指定的申请资源外，额外申请：
driverMemory * 0.10, with minimum of 384
spark.executor.memoryOverhead 
除了指定的申请资源外，额外申请：
executorMemory * 0.10, with minimum of 384

由于1GB*0.10才100MB，所以会是1GB+384MB<2GB，不符合预期。实际上这个还依赖于yarn的内存调度粒度。resourcemanager的参数

最小值
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
最大值
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>20480</value>
</property>

默认yarn的调度最小单元就是1GB，所以结果就是使你原本申请1GB(+额外内存)的内存变为了2GB。

Yarn为了方便控制任务并行总数，提供了一个参数配置

配置文件：hadoop-2.7.4/etc/hadoop/capacity-scheduler.xml
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.1</value>
<description> Maximum percent of resources in the cluster which can be used to run application masters i.e. controls number of concurrent running applications. </description>
</property>

参数含义就是所有AM占用的总内存数要小于yarn所管理总内存的一定比例，默认是0.1。
也即是yarn所能同时运行的任务数受限于该参数和单个AM的内存。

举个例子

集群400GB内存，提交了10个任务后就不能继续提交任务了，
资源还剩余300GB，CPU也很充足，完全满足新任务的资源，为什么提交的新任务一直处于Pending状态？

400GB * 0.1 = 40GB。

配置的yarn的内存调度最小单元是4GB，虽然申请的任务AM每个都是1GB，
但是由于调度单位是4GB，所以在这里实际内存就是4GB，刚好10个任务40GB，也就不能提交第11个任务了。

所以需要将调度内存调到默认值1GB，其实一般情况下没必要调整，然后将AM总内存占比提高，比如1，即可。