Spark on yarn资源优化思路笔记

//TODO 离职后填坑

yarn.nodemanager.resource.memory-mb 
//每个NodeManager可以供yarn调度（分配给container）的物理内存，单位MB

yarn.nodemanager.resource.cpu-vcores 
//每个NodeManager可以供yarn调度（分配给container）的vcore个数
 
yarn.scheduler.maximum-allocation-mb 
//每个container能够申请到的最大内存

yarn.scheduler.minimum-allocation-mb 
//每个container能够申请到的最小内存，如果设置的值比该值小，默认就是该值

yarn.scheduler.increment-allocation-mb 
//container内存不够用时一次性加多少内存 单位MB。默认512M

yarn.scheduler.minimum-allocation-vcores 
//每个container能够申请到的最小vcore个数，如果设置的值比该值小，默认就是该值

yarn.scheduler.maximum-allocation-vcores 
//每个container能够申请到的最大vcore个数。
 
yarn.nodemanager.pmem-check-enabled 
//是否对contanier实施物理内存限制，会通过一个线程去监控container内存使用情况，超过了container的内存限制以后，就会被kill掉。

yarn.nodemanager.vmem-check-enabled 
//是否对container实施虚拟内存限制