Yarn集群搭建

Yarn集群规划

前五列是高可用的，完全分布式的结构，搭建教程见以前博文，链接如下https://blog.csdn.net/Andrea_null/article/details/83019723
在此附加的就是两台ResourceManager(node1,2)和三台NodeManager(node2,3,4)。

进入目录 cd /opt/software/hadoop-2.6.5/etc/hadoop/

配置mapred-site.xml

加入以下内容

    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value> 
    </property>

配置yarn-site.xml

加入以下内容

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node2:2181,node3:2181,node4:2181</value>
 </property>

在node1启动yarn

执行命令：start-yarn.sh
出现以下现象，启动成功。