YARN上运行MapReduce程序
主机名:hadoop101
执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/usr/java/default(java的 安装路径)
(b)配置yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop101(c)配置:mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
cp mapred-site.xml.template mapred-site.xml(复制)
mapreduce.framework.name yarn(2)启动集群
(a)启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
(b)启动nodemanager
sbin/yarn-daemon.sh start nodemanager
(3)集群操作
(a)yarn的浏览器页面查看
http://192.168.1.101:8088/cluster
(b)删除文件系统上的output文件
bin/hdfs dfs -rm -R /user/hadoop/mapreduce/wordcount/output
(c)执行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test.txt /output
(d)查看运行结果
bin/hdfs dfs -cat /output/*