Spark on yarn 内存计算
1.yarn关键参数配置
1.yarn中单个nodemanager控制container的个数
(1)yarn.nodemanager.resource.memory-mb
作用:该节点分配nodemanager的资源
该节点最大内存划分出来的给nodemanager使用的内存,若物理内存128G,80%可使用,则内存则配置128*0.8,默认是8G,若可用小于8G,则需要修改。
(2)yarn.nodemanager.vmem-pmem-ratio
作用:虚拟内存的比例,默认是2.1,即每使用1G物理内
原创
2020-08-27 14:13:30 ·
907 阅读 ·
2 评论