一.启动YARN并运行MapReduce程序
1. 分析
- 配置集群在 YARN 上运行 MapReduce
- 启动, 测试集群增, 删, 查
- 在 YARN 上执行 WordCount 案例
2. 执行步骤
2.1 配置集群
- 配置
yarn-env.sh
配置一下 JAVA_HOME exportJAVA_HOME=/opt/module/jdk1.8.0_144
- 配置
yarn-site.xml
<!--Reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--指定YARN的ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop101</value> </property>
- 配置
mapred-env.sh
配置一下JAVA_HOME exportJAVA_HOME=/opt/module/jdk1.8.0_144
- 配置: ( 对
mapred-site.xml.template
重命名
为 )mapred-site.xml
[atguigu@hadoop101hadoop]$ mv mapred-site.xml.template mapred-site.xml
<!--指定MR运行在YARN上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
2.2 启动集群
- 启动前必须保证
NameNode
和DataNode
已经启动
- 启动
ResourceManager
[atguigu@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
- 启动
NodeManager
[atguigu@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
2.3 集群操作
-
YARN的浏览器页面查看
http://hadoop101:8088/cluster
-
删除文件系统上的output文件
[atguigu@hadoop101hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output
-
执行MapReduce程序
[atguigu@hadoop101hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output
-
查看运行结果
[atguigu@hadoop101hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*