hadoop笔记——YARN部署

1. resource manager在实现高可用的时候，需要自己争抢锁
2. node manager集成了shuffle服务，因为同一个节点可以有很多MapReduce任务
3. yarn ha也有有两个，active和standby
4. 逻辑到物理的映射：yarn.resourcemanager.ha.re_ids为rm1和rm2，然后yarn.resourcemanager.hostname.rm1为master1

整体步骤：

1. node01为管理节点，所以配置信息在node01写，然后分发
2.  cp mapred-site.xml.template mapred-site.xml
3. vi mapred-site.xml，写入
    <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
     </property>

 vi yarn-site.xml，写入

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

 

然后

scp mapred-site.xml yarn-site.xml  node02:`pwd`

scp mapred-site.xml yarn-site.xml  node03:`pwd`

scp mapred-site.xml yarn-site.xml  node04:`pwd`

在管理节点node01启动：start-yarn.sh

在node03和node04：yarn-daemon.sh start resourcemanager

 

至此http://node03:8088和http://node04:8088可以成功启动就ok了

 

停止：stop-yarn.sh

在node03和node04：yarn-daemon.sh stop resourcemanager