6、hadoop_maprduce_ha_yarn

节点分布 mr-hd2.x yarn

			NN1		NN2		DN		ZK		ZKFC	JNN		RS		NM
NODE01		*								*		*				
NODE02				*		*		*		*		*				*
NODE03						*		*				*		*		*
NODE04								*						*		*

node01:

配置

两个rm节点互免秘钥：

3节点 .ssh 目录下： ssh-keygen -t dsa -P ‘’ -f ./id_dsa
cat ~id_dsa.pub >> authorized_keys

	    scp id_dsa.pub root@node4:`pwd`/node3.pub

4节点 .ssh 目录下 ：
cat node3.pub >> authorized_keys
ssh-keygen -t dsa -P ‘’ -f ./id_dsa
cat ~id_dsa.pub >> authorized_keys
scp id_dsa.pub root@node3:pwd/node4.pub

3节点 .ssh 目录下：
cat node4.pub >> authorized_keys

（别忘了退出）

重命名: mv mapred-site.xml.template mapred-site.xml

mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

yarn-site.xml:

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>

 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>

 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>

 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node3</value>
 </property>

 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node4</value>
 </property>

 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node2:2181,node3:2181,node4:2181</value>
 </property>


分发两个文件到：2,3,4节点
scp maprexxxx   yarn-xxx node2:`pwd`
scp maprexxxx   yarn-xxx node3:`pwd`
scp maprexxxx   yarn-xxx node4:`pwd`

启动：

node1:

1 zookeeper 全部会话：zkServer.sh start
2 hdfs （注意，有一个脚本不要用，start-all）start-dfs.sh
如果nn 和 nn2没有启动，需要在node1，node2分别手动启动：
hadoop-daemon.sh start namenode
3 start-yarn.sh (启动nodemanager)
4 在node3,node4节点 启动resourcemanager
分别执行脚本： yarn-daemon.sh start resourcemanager

UI访问：node3或者 node4：8088 访问 resourcemanager

停止：

node1: stop-dfs.sh
node1: stop-yarn.sh (停止nodemanager)
node3,node4: yarn-daemon.sh stop resourcemanager （停止resourcemanager）
zkServer.sh stop 全部会话 停止zookeeper