yarn分布式(HA)

最新推荐文章于 2021-10-16 21:32:58 发布

执着的心

最新推荐文章于 2021-10-16 21:32:58 发布

阅读量392

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/fanzhanwei/article/details/52458176

版权

7 篇文章 0 订阅

订阅专栏

 
 5个节点： 
 hadoop01 
 ， 
 hadoop02 
 ， 
 hadoop03，hadoop04，hadoop05 
 （时间同步：ntpdate -u ntp.sjtu.edu.cn） 

  1、 
 配置yarn-site.xml文件 

  <configuration> 

      <property> 

          <name>yarn.nodemanager.aux-services</name> 

          <value>mapreduce_shuffle</value> 

      </property> 

   <property> 

     <name>yarn.resourcemanager.ha.enabled</name> 

     <value>true</value> 

   </property> 

 
 <!-- 服务编号 --> 

   <property> 

     <name>yarn.resourcemanager.cluster-id</name> 

     <value> 
 yarn1</value> 

   </property> 

   <property> 

     <name>yarn.resourcemanager.ha.rm-ids</name> 

     <value> 
 rm1,rm2</value> 

   </property> 

   <property> 

     <name>yarn.resourcemanager.hostname. 
 rm1</name> 

     <value>hadoop01</value> 

   </property> 

   <property> 

     <name>yarn.resourcemanager.hostname. 
 rm2</name> 

     <value>hadoop02</value> 

   </property> 

   <property> 

     <name>yarn.resourcemanager.zk-address</name> 

     <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value> 

   </property> 

  </configuration> 

  2、 
 配置mapred-site.xml文件 

  <configuration> 

       
 <!-- mapreduce的运行框架，yarn --> 

      <property> 

          <name>mapreduce.framework.name</name> 

          <value> 
 yarn</value> 

      </property> 

  </configuration> 

  3、 
 全面停止： 

 
          stop-all.sh 

  4、zk全部启动： 

          zkServer.sh start 

  5、全面启动： 

 
         start-all.sh 

 
 6、手动单独启动(第二个)standby状态的RM 

 
         yarn-daemon.sh start resourcemanager 

 
 6、查看mapred的HA是否搭建成功： 

 
          
 http://hadoop01:8088 

 
          
 http://hadoop02:8088 

 
         查看hadoop01和hadoop02状态（ 
 active 
 和 
 standby 
 ），访问standby状态的节点时候，显示访问的节点为standby，然后跳转到active状态的那个节点上。 

关注