YARN上运行MapReduce程序

YARN上运行MapReduce程序

主机名：hadoop101

执行步骤

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/usr/java/default（java的 安装路径）

（b）配置yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop101

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.7.0_79

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

cp mapred-site.xml.template mapred-site.xml（复制）

mapreduce.framework.name yarn

（2）启动集群

（a）启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

（b）删除文件系统上的output文件

bin/hdfs dfs -rm -R /user/hadoop/mapreduce/wordcount/output

（c）执行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test.txt /output

（d）查看运行结果

bin/hdfs dfs -cat /output/*