CDH hadoop里面 yarn常用配置优化 (避免踩坑)

CDH hadoop里面 yarn常用配置优化 (避免踩坑)

自己日常用到的yarn一些调优参数,避免同学们踩坑。如有补充,还望同学们多多留言。

1.相应的集群配置环境

128G内存,cpu为48核

2.yarn 内存配置

#表示该nodemanager节点上YARN可使用的物理内存总量 (如:128G可取 90G)
yarn.nodemanager.resource.memory-mb

#container内存范围的最小值(如:可取 2G)
yarn.scheduler.minimum-allocation-mb

#container内存范围的最大值(如:可取 90G 可与nodemanager内存总量相同)
yarn.scheduler.maximum-allocation-mb

#MR ApplicationMaster占用的内存量 (如:可取 20G 因为spark程序运行时ApplicationMaster可能会多 )
yarn.app.mapreduce.am.resource.mb

3.yarn cpu内核配置

#该节点上YARN可使用的虚拟CPU个数与物理CPU核数数目相同 (如:可取48 )
yarn.nodemanager.resource.cpu-vcores

#单个任务可申请的最小虚拟CPU个数 (如:可取1 )
yarn.scheduler.minimum-allocation-vcores

#单个任务可申请的最大虚拟CPU个数 (如:可取48 )
yarn.scheduler.maximum-allocation-vcores

#ApplicationMaster 虚拟 CPU 内核(如:可取 10 因为spark程序运行时ApplicationMaster可能会多 )
yarn.app.mapreduce.am.resource.cpu-vcores

鄙人才疏学浅,还请大家多多指教。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值