分布式系统详解--框架（Hadoop-YARN的HA搭建及测试）

     分布式系统详解--框架（Hadoop-YARN的HA搭建及测试）

 由上一节内容的基础 分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试），我们就直接开始配置yarn的高可用。

一、yarn的规划

IP	主机名	节点
192.168.71.234	centos01	resourcemanager,nodemanager,quroumPeerMain
192.168.71.235	centos02	resourcemanager,nodemanager,quroumPeerMain
192.168.71.233	MyLinux	nodemanager,quroumPeerMain

二、文件配置

1.1 查看官网配置Yarn的HA地方。

1.2 修改  /etc/hadoop/yarn-site.xml(官网更准确--（+mapreduce_shuffle）)

<configuration>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>myyarn</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>centos01</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>centos02</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>centos01:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>centos02:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>centos01:2181,centos02:2181,MyLinux:2181</value>
</property>
</configuration>

1.3 修改  mapred-site.xml.template
 

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

vi ./etc/hadoop/mapred-site.xml

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>

</configuration>

三、远程发送

scp -r ./etc/hadoop/mapred-site.xml ./etc/hadoop/yarn-site.xml centos02:/usr/local/hadoop-2.7.5/etc/hadoop/
scp -r ./etc/hadoop/mapred-site.xml ./etc/hadoop/yarn-site.xml MyLinux:/usr/local/hadoop-2.7.5/etc/hadoop/

四、启动

4.1 各个服务器中启动：

centos01：./sbin/start-yarn.sh

centos02: ./sbin/yarn-daemon.sh stop resourcemanager

4.2 web ui监控

五、跑一个mapreduce作业

5.1 先编写一个文件

5.2 上传 hdfs dfs -put /home/test/a.txt /

5.3 yarn命令查询各个单词数量

yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /a.txt /out/02

5.4 查询结果

5.5 测试其高可用

A.关闭centos01 进程

kill -9 6074 （你的resourcemanager进程）

B.看结果图

C，重新上传文件

yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /a.txt /out/03

查看结果：

完美~~完美~~

欢迎订阅公众号（JAVA和人工智能）

                                                                        获取更过免费书籍资源视频资料

                                                       

文章超级连接：

1，分布式系统详解 - 基础知识（概论）

2，分布式系统详解 - 基础知识（线程）

3，分布式系统详解 - 基础知识（通信）

4，分布式系统详解 - 基础知识（CAP）

5，分布式系统详解 - 基础知识（安全）

6，分布式系统详解 - 基础知识（并发）

7，分布式系统详解 - 架构简介（微服务）

8，分布式系统详解--linux（权限）

9，分布式系统详解 - 框架（Hadoop-单机版搭建）

10，分布式系统详解 - 架构（Hadoop-克隆服务器）

11，分布式系统详解 - 框架（Hadoop-集群搭建）

12，分布式系统详解 - 框架（Hadoop的-SSH免密登陆配置）

13，分布式系统详解 - 框架（Hadoop的JAVA操作HDFS文件）

14，分布式系统详解 - 框架（Hadoop的RPC协议）

15，分布式系统详解 - 框架（zookeeper-简介和集群搭建）

16，分布式系统详解 - 框架（zookeeper-基本外shell命令）

17，分布式系统详解 - 框架（Hadoop的HDFS的HA搭建及测试）

18，分布式系统详解-框架（Hadoop-YARN的HA搭建及测试）