CDH hadoop里面 yarn常用配置优化 (避免踩坑)
CDH hadoop里面 yarn常用配置优化 (避免踩坑)
自己日常用到的yarn一些调优参数,避免同学们踩坑。如有补充,还望同学们多多留言。
1.相应的集群配置环境
128G内存,cpu为48核
2.yarn 内存配置
#表示该nodemanager节点上YARN可使用的物理内存总量 (如:128G可取 90G)
yarn.nodemanager.resource.memory-mb
#container内存范围的最小值(如:可取 2G)
yarn.scheduler.minimum-allocati
原创
2021-04-26 18:07:56 ·
902 阅读 ·
0 评论