hadoop 资源配置与队列设置

yarn 集群资源设置资源

（1）yarn.nodemanager.resource.memory-mb

配置nodemanager节点的可用物理内存，默认是8192（MB） ，如这台服务器有16G 可以考虑分配12G给nodemanager，留下4g给系统内存或者其他程序。

（2）yarn.nodemanager.resource.cpu-vcores

表示该节点上YARN可使用的虚拟CPU个数，默认是8，如果这台服务器有32个物理cpu核，则可以考虑分配28个nodemanager。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。

（3）yarn.nodemanager.vmem-pmem-ratio

任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。

（4） yarn.nodemanager.pmem-check-enabled

是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（5） yarn.nodemanager.vmem-check-enabled

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（6）yarn.scheduler.minimum-allocation-mb

Container包含的最小内存,单位MB  可设置1024（生产可以调）

（9）yarn.scheduler.maximum-allocation-mb

Container包含的最大内存,单位MB  可设置8192（生产可以调）

（10）yarn.scheduler.maximum-allocation-vcores

Container包含的最大cpu核数,默认32（生产可以调）

（11）yarn.scheduler.minimum-allocation-vcores

Container包含的最小cpu核数,默认1（生产可以调）

（12）mapreduce.map.memory.mb 

分配给map Container的内存大小，默认1024MB（生产可以调）

（13）：mapreduce.reduce.memory.mb

 分配给reduce Container的内存大小,默认1024MB（生产可以调）

（14）yarn.app.mapreduce.am.resource.mb

 分配给ApplicationMaster Container的内存大小,默认1024MB（生产可以调）

(15) mapreduce.map.cpu.vcores

分配给map Container的cpu核数，默认1（生产可以调）

(16) mapreduce.reduce.cpu.vcores

分