Hadoop2.7.3配置Yarn资源管理器

接着上一篇文章（搭建伪分布式），本文讲述如何配置Yarn，并对其进行功能和性能测试。

执行步骤

1.配置集群

(a)配置yarn-env.sh

配置一下JAVA_HOME

[root@hadoop01 hadoop-2.7.3]# echo $JAVA_HOME
/usr/local/java/jdk1.8.0_241

                                  

                                       

（b）配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>

                     

（c）配置：mapred-env.sh

配置一下JAVA_HOME

[root@hadoop01 hadoop-2.7.3]# echo $JAVA_HOME
/usr/local/java/jdk1.8.0_241

                       

                      

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml，然后修改它

[root@hadoop01 hadoop-2.7.3]# mv mapred-site.xml.template mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

                                

                    

2.启动集群

(a)启动前必须保证NameNode和DataNode已经启动

(b)启动ResourceManager

[root@hadoop01 hadoop-2.7.3]# sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

[root@hadoop01 hadoop-2.7.3]# sbin/yarn-daemon.sh start nodemanager

 

启动集群的另外一种方法：（一键启动）

（a）在sbin目录下输入：

./start-all.sh

(b)输入密码

由于没有设置ssh免密登录，因此过程中会输入3次yes，4次密码（ssh免密登录之后会讲解）

（c）最后，用jps命令查看，出现上图中6个则表示集群启动成功

（d）停止服务，在sbin目录下输入，还需要输入4次密码

./stop-all.sh

3.集群操作

（a）YARN的浏览器页面查看

该界面是查看MapReduce的

输入hadoop01:8088

(b)删除文件系统上的output文件

bin/hdfs 和hdfs命令的区别是：如果配置和Hadoop的全局变量，则可以省略bin。

[root@hadoop01 hadoop-2.7.3]# bin/hdfs dfs -rm -R /user/atguigu/output

（c）执行MapReduce程序

[root@hadoop01 hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/atguigu/input  /user/atguigu/output

                        

               （d）查看运行结果

[root@hadoop01 hadoop-2.7.3]# bin/hdfs dfs -cat /user/atguigu/output/*

此时点击“历史服务器”会出现404，因为还没有配置，下一篇文章将讲述如何配置。