yran参数的配置

yran参数,参考如下博客:
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/
http://blog.csdn.net/suifeng3051/article/details/48135521

yarn.scheduler.minimum-allocation-mb AppMaster给单个容器可申请的最小内存
yarn.scheduler.maximum-allocation-mb AppMaster给单个容器可申请的最大内存
yarn.scheduler.minimum-allocation-vcores AppMaster给单个容器可申请的最少cpu数量
yarn.scheduler.maximum-allocation-vcores AppMaster给单个容器可申请的最大cpu数量

yarn.nodemanager.resource.memory-mb 节点最大可用内存 一般设置成机器内存的80%
yarn.nodemanager.resource.cpu-vcores 节点最大可用cpu数量,一般设置为机器物理cpu数量一致
yarn.nodemanager.vmem-pmem-ratio 虚拟内存率，默认2.1
max(container) = yarn.nodemanager.resource.memory-mb / yarn.scheduler.minimum-allocation-mb yarn资源最多的container个数

mapreduce.map.memory.mb 分配给任务单个map Container的内存大小
mapreduce.reduce.memory.mb 分配给任务单个reduce Container的内存大小
上面这两个值在yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb之间

mapreduce.map.java.opts 运行map任务的jvm参数
mapreduce.reduce.java.opts 运行reduce任务的jvm参数
上面这两个值在mapreduce.map.memory.mb和mapreduce.reduce.memory.mb 之间

yarn.scheduler.increment-allocation-mb 内存规整化,默认1G,如果一个Container请求资源是1.5GB，则将被调度器规整化为ceiling(1.5 GB / 1GB) * 1G=2GB。