1.概念
作业,job,application,应用,都是同一个意思
Container: 容器,Yarn的组件,虚拟的概念
将一定的内存CPU 比如 1G 1vcore资源抽象为一个小房间,来运行任务
2.yarn的资源调优
参照这张图:
①内存方面:
假如一台机器是64G物理内存,一般16物理core,对应的32个虚拟core(32vcore)
Linux系统本身要占内存+空留: 20% =12.8 G (生产上一般20%–30%都是可以的)
(当机器内存剩余的特别少的时候,有些操作系统会触发OOM killer的机制,把使用内存最大的
进程给kill掉,所以要有剩余的内存,让机器有些缓冲。)
剩余: 80% =51.2G=51G (这80%就是给大数据用的组件、部署的进程所使用的,因为是主从架
构,都是小弟干活,小弟占的最多)
包括NameNode进程 和 DataNode进程
NameNode进程:4G