＜Zhuuu_ZZ＞那些年我们踩过的Hadoop HA的坑--高可用集群

一.Hadoop集群OK

链接: Hadoop集群配置详解.

二.Zookeeper集群OK(时区同步OK)

链接: Zookeeper集群与时区同步配置详解.

三.修改Hadoop配置文件

• 以往的配置全部删除，直接插入下方配置信息即可
  首先转到配置文件下 cd /opt/hadoop2.6.0/etc/hadoop/

1.vi core-site.xml

  <configuration>
  <!-- 指定hdfs的nameservice为ns -->
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://ns</value>
      </property>
      <!-- 指定hadoop临时目录 -->
      <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/hadoop2.6.0/tmp</value>
     </property>
     
     <!-- 指定zookeeper地址 -->
     <property>
         <name>ha.zookeeper.quorum</name>
       <value>hadooptest1:2181,hadooptest2:2181,hadooptest3:2181</value>
     </property>
     <property>
                <name>hadoop.proxyuser.root.hosts</name>
                 <value>*</value>
         </property>
     <property>
                <name>hadoop.proxyuser.root.groups</name>
                 <value>*</value>
        </property>
 </configuration>

2.vi hdfs-site.xml

 <configuration>
      <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--当使用HA配置集群时，则不需要secondarynamenode
      <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>192.168.198.111:50090</value>
      </property>
   -->
  <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
      <property>
          <name>dfs.nameservices</name>
          <value>ns</value>
      </property>
      <!-- ns下面有两个NameNode，分别是hadooptest1,hadooptest2-->
      <property>
          <name>dfs.ha.namenodes.ns</name>
         <value>hadooptest1,hadooptest2</value>
    </property>
     <!-- hadooptest1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns.hadooptest1</name>
         <value>hadooptest1:9000</value>
     </property>
     <!-- hadooptest1的http通信地址 -->
     <property>
         <name>dfs.namenode.http-address.ns.hadooptest1</name>
         <value>hadooptest1:50070</value>
     </property>
     <!-- hadooptest2的RPC通信地址 -->
     <property>
        <name>dfs.namenode.rpc-address.ns.hadooptest2</name>
        <value>hadooptest2:9000</value>
     </property>
     <!-- hadooptest2的http通信地址 -->
     <property>
         <name>dfs.namenode.http-address.ns.hadooptest2</name>
         <value>hadooptest2:50070</value>
     </property>
     <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
     <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://hadooptest1:8485;hadooptest2:8485;hadooptest3:8485/ns</value>
     </property>
     <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
         <name>dfs.journalnode.edits.dir</name>
         <value>/opt/hadoop2.6.0/journaldata</value>
     </property>
     <!-- 开启NameNode失败自动切换 -->
     <property>
         <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
     </property>
     <!-- 配置失败自动切换实现方式 -->
     <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
     <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
     <property>
         <name>dfs.ha.fencing.methods</name>
         <value>
             sshfence
             shell(/bin/true)
         </value>
     </property>
     
     <!-- 配置sshfence隔离机制超时时间 -->
     <property>
         <name>dfs.ha.fencing.ssh.connect-timeout</name>
         <value>30000</value>
     </property>
     <property>
                 <name>dfs.webhdfs.enabled</name>
                 <value>true</value>
         </property>
 
 </configuration>

3.vi mapred-site.xml

 <configuration>
 <!-- 指定mr框架为yarn方式 -->
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
 </configuration>

4.vi yarn-site.xml

<configuration>
<!--非HA模式下指定resourcemanager
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadooptest1</value>
</property>
-->
<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可用 -->
        <property>
           <name>yarn.resourcemanager.ha.enabled</name>
           <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
           <name>yarn.resourcemanager.cluster-id</name>
           <value>cluster_id</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
           <name>yarn.resourcemanager.ha.rm-ids</name>
           <value>rm1,rm2</value>
        </property>
        <!-- 分别指定RM的地址 -->
        <property>
           <name>yarn.resourcemanager.hostname.rm1</name>
           <value>hadooptest1</value>
        </property>
        <property>
           <name>yarn.resourcemanager.hostname.rm2</name>
           <value>hadooptest2</value>
        </property>
        <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadooptest1:8088</value>
        </property>
        <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadooptest2:8088</value>
        </property>
        <!-- 指定zk集群地址 -->
        <property>
           <name>yarn.resourcemanager.zk-address</name>
           <value>hadooptest1:2181,hadooptest2:2181,hadooptest3:2181</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

四.发送文件

在**/opt/hadoop2.6.0/etc/hadoop/**目录下将配置好的主机配置文件发送到集群里的其它机器上
scp *.xml hadooptest2:$PWD
scp *.xml hadooptest3:$PWD
当然也可以采用多开方式一起配置集群里的虚拟机，条条大路通罗马，只要没有Bug我们都是好朋友!!!

五.启动集群

若遇到Hadoop报错：NoRouteToHostException: No route to host，关掉所有节点防火墙systemctl disable firewalld，重启所有节点机器reboot就好。

注：第一次启动集群需全部执行所有步骤，以后启动集群一般而言直接执行第5，6，7，10步就行啦。

1.确保集群处于关闭状态
2.集群所有机器启动journalnode:hadoop-daemon.sh start journalnode
3.集群所有机器删除tmp文件夹，选择主节点重新格式化hadoop namenode -format
4.把主节点新生成的tmp文件夹复制到备用节点：scp -r tmp hadooptest2:$PWD。或者直接在备用节点输入hdfs namenode -bootstrapStandby也可。
5.机器所有机器启动Zookeeper：zkServer.sh start
6.启动Hadoop集群： start-all.sh
7. 在备用节点上启动备用resourcemanager: yarn-daemon.sh start resourcemanager
8. 主节点格式化zkfc：hdfs zkfc -formatZK
9. 主，备节点启动zkfc：hadoop-daemon.sh start zkfc
10.启动历史服务：mr-jobhistory-daemon.sh start historyserver

六.测试集群是否部署成功