Yarn参数调优

1. yarn在该节点上可使用的物理内存总量，默认是8192（MB）
   注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

<property>
    <description>Amount of physical memory, in MB, that can be allocated 
    for containers.</description>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>

2. 是否启动物理内存限制，启动后将开启线程检查任务使用内存量，如果任务超过分配值将被杀掉，默认为true。

<property>
    <description>Whether physical memory limits will be enforced for
    containers.</description>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>true</value>
</property>

3. 没使用1MB内存所分配的虚拟内存比例，默认2.1

  <property>
    <description>Ratio between virtual memory to physical memory when
    setting memory limits for containers. Container allocations are
    expressed in terms of physical memory, and virtual memory usage
    is allowed to exceed this allocation by this ratio.
    </description>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
  </property>

4. 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

  <property>
    <description>Whether virtual memory limits will be enforced for
    containers.</description>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>true</value>
  </property>

5. 可分配的cpu core数

  <property>
    <description>Number of CPU cores that can be allocated 
    for containers.</description>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
  </property>

更多详细参数配置请见：https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html

关于yarn的调度器：
http://blog.csdn.net/suifeng3051/article/details/49508261
1、默认FIFO先进先出队列(First in First out)
2、权重设置队列Capacity Scheduler
3、fairScheduler 公平调度器

Hadoop YARN常见问题以及解决方案：
http://developer.51cto.com/art/201401/426610.htm