伪分布式运行Hadoop实例之yarn运行MapReduce实例

一、配置集群

1. 配置yarn-env.sh文件
   配置一下JAVA_HOME
2. 配置yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

3. 配置：mapred-env.sh文件
   配置一下JAVA_HOME
4. 配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

二、启动集群

1. 启动resourcemanager
   sbin/yarn-daemon.sh start resourcemanager
2. 启动nodemanager
   sbin/yarn-daemon.sh start nodemanager
   

三、操作集群

1. yarn的浏览器页面查看
   http://192.168.23.101:8088/cluster
   
2. 删除文件系统上的output文件
   bin/hdfs dfs -rm -R /user/atguigu/output
3. 执行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input  /user/atguigu/output

4. 查看运行结果
bin/hdfs dfs -cat /user/atguigu/output/*