主要参数
RM
● yarn.scheduler.minimum-allocation-mb
对每个Contaioner,向RM申请内存的最小配置,请求低于此配置,抛出InvalidResourceRequestException。
● yarn.scheduler.maximum-allocation-mb
对每个Contaioner,向RM申请内存的最大配置,请求大于此配置,抛出InvalidResourceRequestException。
NM
● yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
● yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是ture。
● yarn.nodemanager.resource.memory-mb
每个节点,所有Contaioners可以申请的物理内存总量。
● yarn.nodemanager.vmem-pmem-ratio
每个节点,1MB物理内存可以使用多少倍虚拟内存,默认2.1。
AM
● mapreduce.map.memory.mb
对于每个map任务,向调度器申请的内存量。
● mapreduce.reduce.memory.mb
对于每个reduce任务,向调度器申请的内存量。
注:上面两项不设置,则按:max{MIN_Container_Size,(Total Available RAM/containers)}计算。一般reduce设置为map的两倍。
● yarn.app.mapreduce.am.resource.mb
MR AppMaster需要的内存量。
案例举例
比如我们机器内存为8G,我们可以配置:
yarn.scheduler.minimum-allocation-mb 512M
yarn.scheduler.maximum-allocation-mb 8192M
yarn.nodemanager.resource.memory-mb 8192M
yarn.nodemanager.vmem-pmem-ratio 4
mapreduce.map.memory.mb 410M
mapreduce.reduce.memory.mb 820M
小结
根据上述配置的内存参数,并不是这么多内存就硬性地都被使用,这些内存参数表明YARN服务最多可使用的内存量。当无任务提交时,其实占用的内存很少。对于不同的数据量,不同的机器配置,应该不断地去尝试调整,直至符合要求。