Hadoop伪分布式运行模式: YARN 运行 MapReduce程序

一.启动YARN并运行MapReduce程序

1. 分析

1. 配置集群在 YARN 上运行 MapReduce
2. 启动, 测试集群增, 删, 查
3. 在 YARN 上执行 WordCount 案例

2. 执行步骤

2.1 配置集群

1. 配置 yarn-env.sh

   配置一下  JAVA_HOME
   exportJAVA_HOME=/opt/module/jdk1.8.0_144
   

2. 配置 yarn-site.xml

   <!--Reducer获取数据的方式-->
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>
   <!--指定YARN的ResourceManager的地址-->
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop101</value>
   </property>
   

3. 配置 mapred-env.sh

   配置一下JAVA_HOME
   exportJAVA_HOME=/opt/module/jdk1.8.0_144
   

4. 配置: ( 对 mapred-site.xml.template 重命名为 ) mapred-site.xml

   [atguigu@hadoop101hadoop]$ mv mapred-site.xml.template mapred-site.xml
   

   <!--指定MR运行在YARN上-->
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
   

2.2 启动集群

1. 启动前必须保证 NameNode 和 DataNode 已经启动
2. 启动 ResourceManager

   [atguigu@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
   

3. 启动 NodeManager

   [atguigu@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
   

2.3 集群操作

1. YARN的浏览器页面查看

   http://hadoop101:8088/cluster

2. 删除文件系统上的output文件

   [atguigu@hadoop101hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output
   

3. 执行MapReduce程序

   [atguigu@hadoop101hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output
   

4. 查看运行结果

   [atguigu@hadoop101hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*