4、YARN上运行MapReduce 程序

伪分布式运行Hadoop 案例

YARN上运行MapReduce 程序
1）分析：
	（1）准备1台客户机
	（2）安装jdk
	（3）配置环境变量
	（4）安装hadoop
	（5）配置环境变量
	（6）配置集群yarn上运行
	（7）启动、测试集群增、删、查
	（8）在yarn上执行wordcount案例
2）执行步骤
	（1）配置集群
	（a）配置yarn-env.sh
		配置环境变量-----JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_221
	（b）配置yarn-site.xml

		<!-- reducer获取数据的方式 -->
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		
		<!-- 指定YARN的ResourceManager的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>master</value>
		</property>
		
	（c）配置：mapred-env.sh
		配置一下JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_231
	（d）配置： 
		(对mapred-site.xml.template重新命名为) mapred-site.xml
		cp mapred-site.xml.template mapred-site.xml
		<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
		</property>
（2）启动集群
同时启动
	start-yarn.sh
（a）启动resourcemanager
		sbin/yarn-daemon.sh start resourcemanager
（b）启动nodemanager
		sbin/yarn-daemon.sh start nodemanager
（3）集群操作
（a）yarn的浏览器页面查看(展示MR的运行过程)
		http://192.168.1.101:8088/cluster
（b）删除文件系统上的output文件
		bin/hdfs dfs -rm -R /user/wxy/mapreduce/wordcount/output
（c）执行mapreduce程序
		bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/wxy/mapreduce/wordcount/input/ /user/wxy/mapreduce/wordcount/output
（d）查看运行结果
		bin/hdfs dfs -cat /user/wxy/mapreduce/wordcount/output/*