Hadoop NameNode 高可用实现源码分析

一、NameNode的单节点问题

      在hadoop1.x版本中,我们知道HDFS架构中的NameNode节点存在单点问题,一旦NameNode节点宕机了,整个HDFS集群将不可用，因为NameNode保存了整个HDFS的元数据信息。不过在Hadoop2.x版本解决了单点问题,下面我们结合源代码来分析其具体实现。

二、NameNode的高可用架构

  先上一张图片(来源于网络)

 

   从上图可以看到,在hadoop2.x版本已经不需要SeconaryNameNode节点了,其高可用主要依靠节点失效控制器ZKFailoverController,zookeeper集群,Active NameNode和StandBy NameNode以及DataNode集群组成。其中Active NameNode是主NameNode节点,StandBy NameNode是备NameNode节点,主备节点通过共享存储系统来完成元数据的同步,而DataNode节点需要同时向主备NameNode上报数据块相关信息。在整个集群中只有主NameNode才提供对外服务。

三、环境配置

  通过上面的图片，已经对整体的架构有了基本的了解，下面我们来搭以下高可用的环境。具体环境搭建可参考官网：

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

  3.1 配置hdfs-site.xml

 <!--指定namenode的命名空间名称 -->
         <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>
        <!--指定命名空间下的2个节点 -->
        <property>
            <name>dfs.ha.namenodes.mycluster</name>
             <value>master,slave1</value>
         </property>
    <!-- 指定两台namenode所在的机器位置及交互端口号 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.master</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.slave1</name>
        <value>slave1:8020</value>
    </property>
    <!-- 指定两台namenode外部访问的交互端口号 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.master</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.slave1</name>
        <value>slave1:50070</value>
    </property>
   <!-- 指定JN日志节点的共享存储日志目录：不要忘记修改命名空间-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>    
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <!-- 指定JN本地真正存储日志的目录路径（需要自己手动创建） -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/jn</value>
    </property>
    <!-- 配置客户端代理访问属性 -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
     <!-- 代表是否开启自动故障转移功能 -->
        <property>
           <name>dfs.ha.automatic-failover.enabled</name>
           <value>true</value>
        </property>
         <!--hdfs数据块的复制份数,默认是3,理论上份数越多跑数速度越快，但是需要的存储空间也更多 -->
         <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--NameNode存储命名空间和操作日志相关的元数据信息的本地文件系统目录 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <!-- 指定SSH协议方式隔离，当集群出现脑裂的时候，隔离旧NameNode -->
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/failover/id_rsa</value>
    </property>

  3.2 配置core-site.xml 

<!-- nameNode的节点URI,每个dataNode需要和nameNode通信 -->
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
  </property>
  <property>
     <!--hadoop文件系统依赖的基础配置,默认的临时文件存放地址 -->
      <name>hadoop.tmp.dir></name>
      <value>file:/usr/local/hadoop/tmp</value>
  </property>
 <!-- zookeeper集群地址-->
  <property>
   <name>ha.zookeeper.quorum</name>
   <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
 <property>
        <name>topology.script.file.name</name>
        <value>/bigdata/hadoop/bin/rack.py</value>
  </property>
  <property>
         <name>topology.script.number.args</name>
         <value>18</value>
  </property>

  3.3初始化zk

   执行下面的命令

$ hdfs zkfc -formatZK
$ hadoop-daemon.sh start zkfc

   然后执行start-dfs.sh，我本地启动如下

17/02/03 14:16:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [slave1 master]
master: starting namenode, logging to /bigdata/hadoop