知行教育---YARN 的参数优化(06)

YARN 的参数优化

 

Map和Reduce程序的最大堆栈内存

如果用的是apache的yarn，需要在mapreduce.map.java.opts中配置：-Xmx 来指定最大堆栈内存的使用情况

Reduce 设置这个：mapreduce.reduce.java.opts

 

 

指定Map任务和Reduce任务可以使用的最大堆栈内存

 

如果用的是cm集群：

 

 

 

如果是apache版本的，配置：

mapreduce.reduce.memory.mb

和mapreduce.map.memory.mb来指定map和reduce的内存量

 

 

 

NodeManager可以分配给容器的最大内存设置

yarn.nodemanager.resource.memory-mb

通过这个参数，可以配置某一台NodeManager机器上，容器可以使用的最大内存。

 

 

最小和最大容器内存

最小容器内存：yarn.scheduler.minimum-allocation-mb

最大容器内存：yarn.scheduler.maximum-allocation-mb

对单个容器的最小和最大的限制。</