Yarn的调优

1.数据本地化
DN与NM在同一台机器上,减少损失,速度快
DN与NM不在同一台机器上,要用网络io传递，有损失，比较慢

48G内存:
25%给Linux
75%给大数据进程 : 36G内存
DN: 4G （生产上4G)
在哪些设置 重启生效 hadoop-env.sh

默认的是1000m

修改

NM: 2G yarn-env.sh

如何修改

3.还剩: 36-4-2=30G 是给容器的

一大瓶装的30L 小瓶的规格30L 1瓶 1个container
小瓶的规格8L 3瓶 3个container 33.3
小瓶的规格3L 10瓶 10个container 10

容器内存:（官网）
yarn.nodemanager.resource.memory-mb 30G

yarn.scheduler.minimum-allocation-mb 1G
yarn.scheduler.maximum-allocation-mb 8G

容器内存:（生产上）为了适应单个容器内存爆增
yarn.nodemanager.resource.memory-mb 30G 总容器的内存
yarn.scheduler.minimum-allocation-mb 2G 15个小容器
yarn.scheduler.maximum-allocation-mb 30G 1个大容器

4.kill（超出会kill容器 其任务也kill）

yarn.nodemanager.pmem-check-enabled 物理内存
yarn.nodemanager.vmem-check-enabled 虚拟内存

比例,2.1:1
1m pmen=2.1m vmen