CDH hadoop里面 yarn常用配置优化 （避免踩坑）

CDH hadoop里面 yarn常用配置优化 （避免踩坑）

自己日常用到的yarn一些调优参数，避免同学们踩坑。如有补充，还望同学们多多留言。

1.相应的集群配置环境

128G内存，cpu为48核

2.yarn 内存配置

#表示该nodemanager节点上YARN可使用的物理内存总量 （如：128G可取 90G）
yarn.nodemanager.resource.memory-mb

#container内存范围的最小值（如：可取 2G）
yarn.scheduler.minimum-allocation-mb

#container内存范围的最大值（如：可取 90G 可与nodemanager内存总量相同）
yarn.scheduler.maximum-allocation-mb

#MR ApplicationMaster占用的内存量 （如：可取 20G 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.mb

3.yarn cpu内核配置

#该节点上YARN可使用的虚拟CPU个数与物理CPU核数数目相同 (如：可取48 )
yarn.nodemanager.resource.cpu-vcores

#单个任务可申请的最小虚拟CPU个数 (如：可取1 )
yarn.scheduler.minimum-allocation-vcores

#单个任务可申请的最大虚拟CPU个数 (如：可取48 )
yarn.scheduler.maximum-allocation-vcores

#ApplicationMaster 虚拟 CPU 内核（如：可取 10 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.cpu-vcores

鄙人才疏学浅，还请大家多多指教。