Hadoop YARN中内存配置

主要参数

RM

● yarn.scheduler.minimum-allocation-mb
对每个Contaioner，向RM申请内存的最小配置，请求低于此配置，抛出InvalidResourceRequestException。
● yarn.scheduler.maximum-allocation-mb
对每个Contaioner，向RM申请内存的最大配置，请求大于此配置，抛出InvalidResourceRequestException。

NM

● yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
● yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是ture。
● yarn.nodemanager.resource.memory-mb
每个节点，所有Contaioners可以申请的物理内存总量。
● yarn.nodemanager.vmem-pmem-ratio
每个节点，1MB物理内存可以使用多少倍虚拟内存，默认2.1。

AM

● mapreduce.map.memory.mb
对于每个map任务，向调度器申请的内存量。
● mapreduce.reduce.memory.mb
对于每个reduce任务，向调度器申请的内存量。
注：上面两项不设置，则按：max{MIN_Container_Size,(Total Available RAM/containers)}计算。一般reduce设置为map的两倍。
● yarn.app.mapreduce.am.resource.mb
MR AppMaster需要的内存量。

案例举例

比如我们机器内存为8G，我们可以配置：
yarn.scheduler.minimum-allocation-mb            512M
yarn.scheduler.maximum-allocation-mb            8192M
yarn.nodemanager.resource.memory-mb             8192M   
yarn.nodemanager.vmem-pmem-ratio                4
mapreduce.map.memory.mb                         410M
mapreduce.reduce.memory.mb                      820M

小结

根据上述配置的内存参数，并不是这么多内存就硬性地都被使用，这些内存参数表明YARN服务最多可使用的内存量。当无任务提交时，其实占用的内存很少。对于不同的数据量，不同的机器配置，应该不断地去尝试调整，直至符合要求。