【YARN篇】基于HA的YARN集群搭建

• 1.简介：

YARN是在hadoop2.x出现的，不参与计算，只是资源的调控者。它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN的基本思想是将Hadoop1.x时候的JobTracker的两个主要功能（资源管理和作业调度/监控）分离。主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。
ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。
YARN主要包含：AppMaster、NodeManager、ResourceManager
图例：

解释：有客户端把清单的作业推向HDFS上后，会去ResourceManager资源控制中心等待MR去寻找那个ModeManger是空闲的，然后把客户端的请求分给App Master,(appMaster相当于JobTack的任务调度的功能，但是没有资源管理的功能) 为临时服务，有客户端任务的时候才会有。而hadoop的1.x的jobTack是随着Node manager同时存在的。
然后appmaster和MR进行资源通讯。会根据读取完的清单信息去跟ResourceManager申请可计算的节点，既Container（临时服务）。分发任务到container，然后有RM决定哪个跑mapper任务，哪个跑reduce任务。AM和RM以及Container之间会保持心跳。保证了单点故障记忆压力过大的问题。
备注：mapreduce默认设置的大小为1024M。这需要根据实际的情况具体定。

• 2.搭建：

  基于HA的YARN集群搭建，在上一篇HA下的zk+zkfc原有的基础上搭建改的比较少如下图例：
  

修改配置如下：

vi mapred-site.xml

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

vi yarn-site.xml

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node01:2181,node02:2181,node03:2181,node04:2181</value>
 </property>

启动node03 和node04的resourcemanager
yarn-daemon.sh start resourcemanager

测试访问:node03:8088
在hadoop部署包里share找到mapreduce，里面有hadoop-MapReduce-example-2.6.5.jar 运行此demo作为客户端。

hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/jw.txt /wc/out

然后在node01的HDFS文件系统上看，以及在node03的yarn上看进度及信息，

统计下mapreduce计算完的数据：
hdfs dfs -cat /wc/out/part-r-00000