YARN HA 搭建以及自动故障转移测试_yarn(2)

最新推荐文章于 2024-08-08 10:15:17 发布

2401_84731999

最新推荐文章于 2024-08-08 10:15:17 发布

阅读量468

点赞数 3

文章标签：单元测试功能测试学习

本文链接：https://blog.csdn.net/2401_84731999/article/details/138986569

版权

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

<property>

yarn.resourcemanager.hostname.rm1
centos01

<property>

yarn.resourcemanager.hostname.rm2
centos02

<property>

yarn.resourcemanager.webapp.address.rm1
centos01:8088

<property>

yarn.resourcemanager.webapp.address.rm2
centos02:8088

yarn.resourcemanager.zk-address
centos01:2181,centos02:2181,centos03:2181

<property>

yarn.resourcemanager.recovery.enabled
true

yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore



> 
> `yarn.nodemanager.aux-services`：NodeManager上运行的附属服务，需配置成mapreduce\_shuffle才可正常运行MapReduce程序。YARN提供了该配置项用于在NodeManager上扩展自定义服务，MapReduce的Shuffle功能正是一种扩展服务。
> 
> 
> `yarn.resourcemanager.ha.enabled`：开启ResourceManager HA功能。
> 
> 
> `yarn.resourcemanager.cluster-id`：标识集群中的ResourceManager。如果设置该属性，需要确保所有的ResourceManager在配置中都有自己的ID。
> 
> 
> `yarn.resourcemanager.ha.rm-ids`：ResourceManager的逻辑ID列表。可以自定义，此处设置为“rm1,rm2”，后面的配置将引用该ID。
> 
> 
> `yarn.resourcemanager.hostname.rm1`：指定ResourceManager对应的主机名。另外，可以设置ResourceManager的每个服务地址。
> 
> 
> `yarn.resourcemanager.webapp.address.rm1`：指定ResourceManager的Web端访问地址。
> 
> 
> `yarn.resourcemanager.zk-address`：指定集成的ZooKeeper的服务地址。
> 
> 
> `yarn.resourcemanager.recovery.enabled`：启用ResourceManager重启的功能。
> 
> 
> `yarn.resourcemanager.store.class`：用于ResourceManager状态存储的类。
> 
> 
> 


### 同步其他节点

scp -r /opt/modules/hadoop-2.8.2/etc/hadoop hadoop@centos02:/opt/modules/hadoop-2.8.2/etc
scp -r /opt/modules/hadoop-2.8.2/etc/hadoop hadoop@centos03:/opt/modules/hadoop-2.8.2/etc


### 启动ZooKeeper集群


分别进入每个节点的ZooKeeper安装目录，执行以下命令：

bin/zkServer.sh start


### 启动YARN集群


分别在`centos01`和`centos02`节点上进入Hadoop安装目录，执行以下命令，启动`resourcemanager`：

sbin/yarn-daemon.sh start resourcemanager


分别在每个节点上进入Hadoop安装目录，执行以下命令，启动`nodemanager`：

sbin/yarn-daemon.sh start nodemanager


### 查看各节点的java进程

jps


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204407423.png#pic_center)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204416650.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204425301.png#pic_center)


### 浏览器中查看YARN的启动状态


**在浏览器中输入`http://centos01:8088`:**  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204435679.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)


**如果访问备用ResourceManager地址`http://centos02:8088`，会发现自动跳转到`http://centos01:8088`。因为此时活动状态的ResourceManager在`centos01`节点上，访问备用ResourceManager会自动跳转到活动ResourceManager。**


### 测试YARN自动故障转移


**在`centos01`节点上执行MapReduce默认的WordCount程序，当正在执行Map任务时，新开一个SSH Shell窗口，杀掉centos01的ResourceManager进程，观察程序执行过程。若程序仍能流畅执行，说明自动故障转移生效，ResourceManager遇到故障后，自动切换到`centos02`节点上继续执行。此时访问备用ResourceManager的Web页面地址`http://centos02:8088`，发现可以成功访问：**


#### 启动HDFS

sbin/start-dfs.sh


#### 启动ZKFC守护进程


在节点`centos01`、`centos02`:

sbin/hadoop-daemon.sh start zkfc


#### 查看各节点的java进程以及NameNode状态


**尤其要记住`centos01`中的ResourceManager节点进程，因为我们一会要杀掉他做测试**  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204453471.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204501694.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204516398.png#pic_center)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2021033020452997.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330204540369.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjEzNzkz,size_16,color_FFFFFF,t_70#pic_center)


#### 开始测试


**先准备好数据：**



![img](https://img-blog.csdnimg.cn/img_convert/83a3b5bd0c65dd5e7b055bf3d6ff1d77.png)
![img](https://img-blog.csdnimg.cn/img_convert/bd1f8dc27637b04309b54f862a922cea.png)
![img](https://img-blog.csdnimg.cn/img_convert/7bf4607c54d30a2d5dee2f40101b0f78.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**