Hadoop2.8.5的HDFS的高可用集群搭建(HDFS HA)

HDFS结合Zookeeper实现故障转移

HDFS HA集群角色的分配(在搭建好的集群的基础上进行修改相应的配置文件)

节点	角色
centoshadoop1	NameNode DataNode JournalNode zkfc
centoshadoop2	NameNode DataNode JournalNode zkfc
centoshadoop3	DataNode JournalNode
centoshadoop4	DataNode JournalNode

hdfs-site.xml 基本配置如下:

  <!--文件在HDFS系统中的副本数,一般小于DataNode的节点数-->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property >

    <!--mycluster为自定义的值,下面的配置需要使用该值,指定hdfs的mycluster为id，需要和core-site.xml中的保持一致 -->

    <property>

        <name>dfs.nameservices</name>

        <value>mycluster</value>

   </property>

   <!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->

   <property>

        <name>dfs.ha.namenodes.mycluster</name>

        <value>nn1,nn2</value>

   </property>

   <!-- nn1的RPC通信地址 -->

   <property>

        <name>dfs.namenode.rpc-address.mycluster.nn1</name>

        <value>centoshadoop1:8020</value>

   </property>

   <!-- nn1的http通信地址,配置NameNode节点的Web页面访问地址 -->

   <property>

        <name>dfs.namenode.http-address.mycluster.nn1</name>

        <value>centoshadoop1:50070</value>

   </property>

   <!-- nn2的RPC通信地址 -->

   <property>

        <name>dfs.namenode.rpc-address.mycluster.nn2</name>

        <value>centoshadoop2:8020</value>

   </property>

   <!-- nn2的http通信地址,配置NameNode节点的Web页面访问地址 -->

   <property>

        <name>dfs.namenode.http-address.mycluster.nn2</name>

        <value>centoshadoop2:50070</value>

   </property>

 

    <!-- 指定NameNode的共享edits元数据在JournalNode上的存放位置,一般配置奇数个,以适应zk选举 -->

   <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://centoshadoop1:8485;centoshadoop2:8485;centoshadoop3:8485/mycluster</value>

   </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 ,JournalName用于存放元数据和状态信息的目录-->

   <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/home/hadoop/data/dfs/journaldata</value>

   </property>

<!-- 配置失败自动切换实现方式 ,客户端与NameNode通讯的地址-->

   <property>

        <name>dfs.client.failover.proxy.provider.mycluster</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

   </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行,解决HA脑裂问题-->

   <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

        sshfence

        shell(/bin/true)

        </value>

   </property>

   <!-- 使用sshfence隔离机制时需要ssh免密登录,上述属性ssh通讯使用的秘钥文件-->

   <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>/home/hadoop/.ssh/id_rsa</value> <!-- hadoop为当前用户名-->

   </property>

    <!--不检查用户权限 -->

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

     <!--nameNode的edits元数据在机器本地磁盘的存放位置 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/hadoop/data/dfs/namenode</value>

    </property>

    <!-- DataNode节点数据在本地文件的存放位置-->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/hadoop/data/dfs/datanode</value>

    </property>

     <!--开启NameNode失败自动切换,自动故障转移,mycluster为自定义配置的mycluster id的值-->

   <property>

        <name>dfs.ha.automatic-failover.enabled.mycluster</name>

        <value>true</value>

   </property>

core-site.xml基本配置如下:

 <!--fs.defaultFS為HDFS的默认访问路径,也是NameNode的访问路径,该处以使用新的支持HA的逻辑URI,若之前配置为hdfs://centoshadoop1:9000

        ,则需要该为如下值,其中mycluster为hdfs-site.xml中定义的nameservice ID值,Hadoop启动时会根据该值找到对应的两个NameNode-->

         <property>

            <name>fs.defaultFS</name>

            <value>hdfs://mycluster</value>

         </property>

         <property>

           <name>hadoop.tmp.dir</name>

           <value>file:/home/hadoop/data/dfs/tmp</value>

        </property>

        <!-- 指定zookeeper地址 -->

        <property>

             <name>ha.zookeeper.quorum</name>

             <value>node-1:2181,node-2:2181,node-3:2181</value>

        </property>

        <!--修改core-site.xml中的ipc参数,防止出现连接journalnode服务ConnectException-->

    <property>

        <name>ipc.client.connect.max.retries</name>

        <value>100</value>

        <description>Indicates the number of retries a client will make to establish a server connection.</description>

    </property>

    <property>

        <name>ipc.client.connect.retry.interval</name>

        <value>10000</value>

        <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>

    </property>

===============================================================================

向其他三台机器分发下面的配置文件

scp -r hdfs-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

scp -r core-site.xml hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

启动与测试

1启动JournalNode进程

在分别删除各个节点centoshadoop*下~/data/dfs/namenode ,datanode,tmp,journalnode下的所有文件，执行下面的命令，启动三个节点的JournalNode进程:

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

sbin/hadoop-daemon.sh start  journalnode

2格式化NameNode

在centoshadoop1节点执行如下:

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

bin/hdfs namenode -format

3启动NameNode(活动NameNode)

在centoshadoop1节点执行如下命令：

sbin/hadoop-daemon.sh start namenode

4复制NameNode1元数据

在节点centoshadoop2上执行如下命令,会自动将centoshadoop1上的元数据复制到centoshadoop2节点上,也可以直接将centoshadoop1上的~/data/namenode相关元数据复制到相应的位置。

cd /home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5

bin/hdfs namenode -bootstrapStandby

 common.Storage:

Storage directory /home/hadoop/data/dfs/namenode has been successfully formatted.

日志信息如上,表示复制成功

 

(5)启动NameNode2(备用NameNode)

sbin/hadoop-daemon.sh start namenode

在浏览器中查看centoshadoop1与centoshadoop2中的namenode的状态。

http://centoshadoop1:50070/

http://centoshadoop2:50070/

 

都为standby状态,下面配置实现hdfs的HA自动故障转移,

6开启自动故障转移功能

在节点centoshadoop1中,修改hdfs-site.xml文件,加入下方的内容

 <!--开启NameNode失败自动切换,自动故障转移,mycluster为自定义配置的mycluster id的值-->

   <property>

        <name>dfs.ha.automatic-failover.enabled.mycluster</name>

        <value>true</value>

   </property>

7指定Zookeeper集群

在节点centoshadoop1中,修改core-site.xml文件,加入下方的内容

 

<!-- 指定zookeeper集群地址 -->

        <property>

             <name>ha.zookeeper.quorum</name>

             <value>node-1:2181,node-2:2181,node-3:2181</value>

        </property>

8同步其他节点

发送修改好的hdfs-site.xml和core-site.xml文件到集群其他节点,覆盖原来的文件

scp -r hdfs-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

scp -r core-site.xml  hadoop@centoshadoop2:/home/hadoop/hadoop-ha/hadoop/hadoop-2.8.5/etc/hadoop/

9停止HDFS集群

在节点centoshadoop1执行如下命令

sbin/stop-dfs.sh

10初始化HA在Zookeeper中的状态(在centoshadoop1节点执行)

执行下面的命令，在Zookeeper中创建一个znode节点，存储自动故障转移系统的数据

bin/hdfs zkfc -formatZK

11启动HDFS集群

在centoshadoop1上执行命令：sbin/start-dfs.sh

12启动ZKFC守护进程

由于我们是手动管理集群上的服务,所用需要手动启动两个节点上的ZKFC守护进程.分别在centoshadoop1和centoshadoop2上执行如下命令:

sbin/hadoop-daemon.sh start zkfc  或者 bin/hdfs start zkfc

注意:(先在哪个namenode节点执行,哪个节点的状态为active)

13在节点centoshadoop1上执行停止namenode的命令,测试自动故障转移是否成功

sbin/hadoop-daemon.sh stop namenode

执行下面的命令,能看到输出words.txt中的内容说明故障转移配置成功

hdfs dfs -mkdir /input

hdfs dfs -put words.txt /input

hdfs dfs -cat /input/*   

 

解决Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is...

1  <!-- 指定ResourceManager所在的节点与访问端口(默认端口是8032)，若不指定,ResourceManager将默认在执行YARN启动命令的节点上启动-->

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>centoshadoop1:8032</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>centoshadoop1:8030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>centoshadoop1:8031</value>

  </property>

2 看看防火墙端口是否拦截

最终的实现hdfs ha高可用hadoop UI 界面如下:

(主节点)

http://centoshadoop1:50070/

(备用节点)

http://centoshadoop2:50070/