内存参数
-
yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的内存总数,默认是8G
-
yarn.scheduler.minimum-allocation-mb
单个任务可申请的最小的内存大小,默认是1G,当内存不够时,会自动按照一定大小累加内存。
-
yarn.scheduler.maximum-allocation-mb
单个任务可申请的最大的内存大小,默认是8G
cpu参数
-
yarn.nodemanager.resource.cpu-vcores
表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个,则需要调减小这个值,而YARN不会智能的探测节点的物理CPU总数。 -
yarn.scheduler.minimum-allocation-vcores
单个任务可申请的最小虚拟CPU个数,默认是1,如果一个任务申请的CPU个数少于该数,则该对应的值改为这个数。 -
yarn.scheduler.maximum-allocation-vcores
单个任务可申请的最多虚拟CPU个数,默认是4。
注意:这里说的cpu个数都是说的虚拟cpu,默认的是1个物理cpu=2个虚拟cpu
例如
机器的物理配置 64G 16cores,但系统可能实际内存实际只能看到62G
预留15~20%,大概12G(这里必须要预留)
12G: DN 4G + NM 1G=5G 7G
62*80%=50G 计算
yarn.nodemanager.resource.memory-mb : 50G 计算总内存
yarn.nodemanager.resource.cpu-vcores : 32
yarn.scheduler.minimum-allocation-mb : 2G 25个C
yarn.scheduler.minimum-allocation-vcores: 1 32个C
yarn.scheduler.maximum-allocation-mb : 8G 6个C
yarn.scheduler.maximum-allocation-vcores : 4 8个C
一个container的core 正常最大不要超过5 cloudera规定
这里有两个值可以确定,就是最大4个cpu,和内存总使用数时50G,其余四个参数可以根据业务实际情况做调整,反正始终记住:资源最大化利用 并不是100利用 而是让剩余越来越少 。
注意:只见过内存不够的时候 会自动累加,没有见过vcore不够的时候 会自动累加 , 是启动的指定的 spark executor-cores