大数据 （008）Hadoop-MapReduce 运行环境之 yarn环境搭建

yarn说明

如下图所示：

        Resource Manager是主节点，Node Manager是从节点。其中主节点负责任务的调度，从节点负责线程的执行。

        Node Manager和  datanode在同一个机器下。

        Client将写好的程序（jar包）提交给Resource Manager，Resource Manage会将jar包给每一个Node Manager传送。程序由App Master执行。

        App Master是namenode的一个组件，专门负责任务的执行。执行时候App Master要去Resource Manager申请资源，分配好资源和App Master就会有一个Container。

搭建步骤

一、进入hadoop配置文件目录，编辑yarn配置文件

        vi /home/hadoop-2.5.1/etc/hadoop/yarn-site.xml

二、将上述文件<configuration>标签内容改为下方所示

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>bjsxt</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node1:2181,node2:2181,node3:2181</value>
 </property>

三、进入hadoop安装目录下的etc/hadoop目录，执行命令：

 

        mv mapred-site.xml.template mapred-site.xml

        将目录下的mapred-site.xml.template文件重命名为mapred-site.xml

四、编辑mapred-site.xml文件，配置如下

 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

        这个配置表示reduce启动后被yarn接管

 

五、在node1上执行命令

        start-yarn.sh

        启动yarn主节点

六、在node2上执行命令

        yarn-daemon.sh start resourcemanager

        启动yarn备用节点

七、浏览器输入192.168.1.201：8088可以看到下图resource监控页面

 

八、浏览器输入192.168.1.202：8088可以看到下图页面

九、关掉主resourcemanager，测试node2是否会接管

        在node上执行jps得到下图

      

        上图可以看出resourcemanage的进程id是6178我们执行命令 

        kill -9 6178

        杀掉这个进程

        然后在浏览器地址栏输入192.168.1.202：8088，发现可以进入web监控页面（datanode的监控信息需要等待一会才可以看到）