Hadoop——Yarn的HA模式搭建以及WordCount实验

最新推荐文章于 2022-08-10 20:41:37 发布

Song X.

最新推荐文章于 2022-08-10 20:41:37 发布

阅读量456

点赞数

文章标签： hadoop java 大数据 wordcount

本文链接：https://blog.csdn.net/qq_22938671/article/details/104564577

版权

本文介绍了在Hadoop集群中搭建Yarn的高可用(HA)模式，详细阐述了Yarn HA的配置步骤，包括设置主备ResourceManager(RM)，NodeManager(NM)与DataNode(DN)的对应关系。在配置完成后，通过WordCount实例验证Yarn集群的正常运行，展示了如何运行WordCount程序并解析输出结果。

摘要由CSDN通过智能技术生成

Yarn和HDFS是两个概念，所以你完全可以在启动着Hadoop集群的时候，搭建Yarn并启动

之前在没有Yarn时我们的角色分布是这样的
在这里插入图片描述
搭建Yarn之后会新增RM和NM角色，我们将RM分配在node03和04上做主备RM，与node01和02的NN错开。NM必须与DN一一对应，所以在node02~04上搭建NM

搭建之后的角色应该如下
在这里插入图片描述

NN实现主备切换时需要一个ZKFC辅助，在Yarn中却没有了这么一个辅助角色，而直接与Zookeeper通信，是因为Yarn已经把HA的模块集成进去了

下面要修改的配置文件

node01:
#在mapred-site.xml中增加
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
#在yarn-site.xml中增加

#启动自动主备切换
<property>
  <name>yarn.resourc