在HDP2.0 Beta中,Yarn作为MapReduce的资源管理器,并且可以被其他的编程模型所使用,这简化了MapReduce,让MapReduce做它最擅长的数据处理工作。使用Yarn,能够在Hadoop上运行多种类型的应用,这些应用共享资源管理。
![](https://i-blog.csdnimg.cn/blog_migrate/39c70d81eaf8f5d0c1c6669e58c87aa4.png)
这篇文章中我们将会讲解在企业版HDP2.0中如何规划和配置集群处理能力,这将会涉及到Yarn和MapReduce 2。我们假设集群中每个结点配置为48G RAM,12块硬盘,2个6核心CPU(共12核).
Yarn管理了集群中所有可用资源,处理集群中所有应用(比如MapReduce)的请求。Yarn以Container为单位为应用分配处理能力,Container是处理能力和资源(memory、cpu等)的封装。
配置Yarn
在Hadoop集群中,平衡RAM、CPU和Disk的使用率至关重要,以免处理能力不会被任何一种资源所限制。一般来说,1块Disk和一个Core分配给一到两个Container能够更好的平衡集群的利用率,因此在我们的例子中每个Node 12 Disk, 12 Cores,允许最多分配20个Container。
每个Node有48G RAM, 一些RAM需要保留给OS使用,因此我们分配40G给Yarn,8G给OS。以下属性配置了Node上Yarn能够使用的最大内存:
yarn-site.xml中:
<name>yarn.nodemanager.resource.memory-mb</name>
<value>40960</value>
以下步骤是如何划分集群中所有资源给Container的一个指导,可以指定分配给每个Container的最大RAM,我们最多有20个Container,因此每个Container最小有2G RAM(共40G/20Containers)。
yarn-site.xml中:
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
Yarn给每个Container分配RAM至少
yarn.scheduler.minimum-allocation-mb大小。
配置MapReduce 2
MR v2是基于Yarn的,使用Yarn Containers调度和执行Map Reduce tasks. 在Yarn上配置MR v2资源利用时需要考虑以下三个方面:
1、每个Map Reduce Task的物理RAM限制
2、每个Task的JVM Heap大小
3、每个Task的虚拟内存大小
你可以定义每个Task的最大内存,每个Map Reuce Task都是运行在单独的Container中,所以Task的最大内存大小应该大于或等于Yarn为Container分配的最小大小。
我们的例子中,每个Container的最小RAM(
yarn.scheduler.minimum-allocation-mb
)为2G,我们为Map Task Container分配4G, Ruduce Task
Container分配8G,
mapred-site.xml中:
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>
每个Container都会启动JVM运行MapReduce Task, JVM的Heap大小应该小于以上Map Reduce RAM的定义,这样就不会超过为Container分配的RAM边界。
mapres-site.xml中:
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072</value>
<name>mapreduce.reduce.java.opts</name>
<value>-Xml6144m</value>
以上配置了MapReduce Task使用的堆(
物理内存)
上限。每个MapReduce Task的虚拟内存上限由Container的虚拟内存率决定,以下属性配置此值,默认是2.1
yarn-site.xml中:
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
通过以上配置每个Map Task的内存分配如下:
物理内存4G
Map Task Container中JVM Heap上限3G
虚拟内存上限4*2.1=8.4G
在Yarn和MR v1中,再也没有为Map Reduce Task提前分配好的静态slots,整个集群为job按需动态分配Map Reduce资源。在我们的例子中,通过以上配置,YARN在每个Node上最多分配10(40/4)个mapper或最多分配5(40/8)个Reducer,或者范围内Map Reduce Task的组合.
下一步: