1.数据本地化
DN与NM在同一台机器上,减少损失,速度快
DN与NM不在同一台机器上,要用网络io传递,有损失,比较慢
48G内存:
25%给Linux
75%给大数据进程 : 36G内存
DN: 4G (生产上4G)
在哪些设置 重启生效 hadoop-env.sh
默认的是1000m
修改
NM: 2G yarn-env.sh
如何修改
3.还剩: 36-4-2=30G 是给容器的
一大瓶装的30L 小瓶的规格30L 1瓶 1个container
小瓶的规格8L 3瓶 3个container 33.3
小瓶的规格3L 10瓶 10个container 10
容器内存:(官网)
yarn.nodemanager.resource.memory-mb 30G
yarn.scheduler.minimum-allocation-mb 1G
yarn.scheduler.maximum-allocation-mb 8G
容器内存:(生产上)为了适应单个容器内存爆增
yarn.nodemanager.resource.memory-mb 30G 总容器的内存
yarn.scheduler.minimum-allocation-mb 2G 15个小容器
yarn.scheduler.maximum-allocation-mb 30G 1个大容器
4.kill(超出会kill容器 其任务也kill)
yarn.nodemanager.pmem-check-enabled 物理内存
yarn.nodemanager.vmem-check-enabled 虚拟内存
比例,2.1:1
1m pmen=2.1m vmen