hadoop在yarn上运行

YARN上运行MapReduce程序

这里接着上面的博文接着写的
植入代码
设置一些配置
[root@zhiyou01 hadoop-2.7.3]# cd etc/hadoop/

对这里的文件进行修改
[root@zhiyou01 hadoop]# vi yarm-env.sh
[root@zhiyou01 hadoop]# vi yarn-env.

他们的jdk是被注释的解注释修改成自己的jdk路径
紧接着对这个文件进行修改
[root@zhiyou01 hadoop]# vi yarm-env.sh

//对他添加的内容yarn-site.xml
<!-- reduce获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>


<!-- 指定YARN的ResourceManager的地址hosts文件配置ip映射 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zhiyou101</value>
</property>

在对mapred-site.xml.template、cp一下

#命令
[root@zhiyou01 hadoop]# cp mapred-site.xml.template mapred-site.xml
#然后这样一下[root@zhiyou01 hadoop]# vi mapred-site.xml
//添加这样一段代码

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property

启动
注意：namenode只需要格式化一次，不要一直格式化它，

启动YARN
包含：
ResourceManager：管理所有的NodeManager，给Nodemanager发送命令（老板）
NodeManager：负责管理该节点的资源调度。（经理）
首先启动resourcemanager，在启动nodemanage

#杀死该杀死的
[root@zhiyou01 sbin]# jps
3089 NameNode
3794 Jps
3187 DataNode
[root@zhiyou01 sbin]# kill -9 3089
[root@zhiyou01 sbin]# kill -9 3187
[root@zhiyou01 sbin]# jps
3804 Jps
[root@zhiyou01 sbin]# 
#启动开始在[root@zhiyou01 sbin]# 下
./yarn-daemon.sh start resourcemanager
 ./yarn-daemon.sh start nodemanager
 ./hadoop-daemon.sh start namenode
  ./hadoop-daemon.sh start datanode
 
#出现以下代表成功
[root@zhiyou01 sbin]# jps
3832 ResourceManager
4425 Jps
4140 NodeManager
4270 NameNode
4334 DataNode
[root@zhiyou01 sbin]# 

浏览器访问，通过8088端口：http://zhiyou101:8088
vi /etc/hostname 修改Linux的主机名

在${hadoop}/share/hadoop/mapreduce目录下
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /hadoop/input/wc.txt /hadoop/output1

在控制台输出运行结果
hadoop fs -cat /hadoop/output/part-r-00000