伪分布式yarn上运行mr程序

伪分布式yarn上运行mr程序

1.分析

（1）配置集群在YARN上运行MR
（2）启动、测试集群增、删、查
（3）在YARN上执行WordCount案例

2.执行步骤

（1）配置集群

（a）配置yarn-env.sh
配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 
值是主节点的主机名 如果主机名是hadoop101，那就配置hadoop101
-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

<!-- Reduce获取数据的方式 -->
<property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
</property>

（c）配置：mapred-env.sh
配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

 mv mapred-site.xml.template mapred-site.xml
 vi mapred-site.xml

添加以下内容

<!-- 指定MR运行在YARN上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

（2）启动集群

（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）YARN的浏览器页面查看

http://hadoop101:8088/cluster

（b）删除文件系统上的output文件

bin/hdfs dfs -rm -R /user/dev1/output

（c）执行MapReduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/dev1/input  /user/dev1/output

（d）查看运行结果

bin/hdfs dfs -cat /user/dev1/output/*