ZooKeeper故障节点替换过程详解

一、环境描述

 

我的生产环境ZooKeeper 版本3.4.6，5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HBase 集群提供高可用保障。

 

二、问题描述

 

因为某些特殊原因，需要替换掉myid为5（IP：10.10.10.30）的ZooKeeper节点，故障节点IP：10.10.10.30替换为10.10.10.37。10.10.10.37节点是现有环境的namenode节点，Hadoop用户、相关目录，授权、hosts文件已经满足ZooKeeper的部署要求。

 

三、ZooKeeper相关知识点

 

在ZooKeeper的设计中，集群中的任何一个节点的zoo.cfg文件内容是一样的，因此最好使用SVN把这个文件管理起来，保证每个机器都能使用一份相同的配置。

 

在配置文件中（zoo.cfg），可以按照这样的格式，每行写一个机器配置：server.id=host:port:port. 关于这个id，我们称之为Server ID，标识host机器在集群中的机器序号，在每个ZK机器上，我们需要在数据目录（数据目录就是dataDir参数指定的那个目录）下创建一个myid文件，myid中就是这个Server ID数字。

 

ZooKeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。ZooKeeper 节点数一般为奇数个，比如我的环境部署了5个节点的ZooKeeper服务，如果有两个节点的ZooKeeper异常是不会影响ZooKeeper集群对外提供服务的。

 

四、部署新节点ZooKeeper

 

1、配置参数如下（zoo.cfg）

 

$ grep -v "^#" zoo.cfg |grep -v "^$"

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data/ZooKeeper

clientPort=2181

server.1=10.10.10.33:2888:3888

server.2=10.10.10.34:2888:3888

server.3=10.10.10.35:2888:3888

server.4=10.10.10.36:2888:3888

server.5=10.10.10.37:2888:3888

 

2、关闭10.10.10.37主机

 

3、备份原有zoo.cfg文件，cp zoo.cfg zoo.cfg0420

 

4、本案例在现有10.10.10.37节点部署myid为5的ZooKeeper服务，从其它可用节点scp 软件包到10.10.10.37节点，修改配置文件主机IP，使用新主机的IP替换掉原有主机的IP

 

5、使用新的zoo.cfg文件，替换掉其他4个节点的zoo.cfg文件,使用scp远程传输直接覆盖

 

6、10.10.10.37节点创建myid 命令：echo “5” > /data/ZooKeeper/myid

 

五、修改Hadoop配置文件，然后替换所有Hadoop节点配置文件

 

1、修改hdfs-site.xml

 

$ grep -A 2 "ha.ZooKeeper.quorum" hdfs-site.xml

<name>ha.ZooKeeper.quorum</name>             <value>host-10-10-10-49:2181,host-10-10-10-50:2181,host-10-10-10-36:2181,host-10-10-10-38:2181,host-10-10-10-30:2181</value>

        </property>

 

$ vi hdfs-site.xml把host-10-10-10-30 替换为host-10-10-10-37

 

2、修改yarn-site.xml

 

$ grep -A 2 "yarn.resourcemanager.zk-address" yarn-site.xml

                <name>yarn.resourcemanager.zk-address</name>            <value>host-10-10-10-49:2181,host-10-10-10-50:2181,host-10-10-10-36:2181,host-10-10-10-38:2181,host-10-10-10-30:2181</value>

                <description>For multiple zk services, separate them with comma</description>

 

$ vi yarn-site.xml把host-10-10-10-30 替换为host-10-10-10-37

 

六、修改HBase配置文件（HBase-site.xml）,然后替换所有HBase节点配置

 

 

$ grep -A 2 "HBase.ZooKeeper.quorum" HBase-site.xml

                <name>HBase.ZooKeeper.quorum</name>             <value>host-10-10-10-49,host-10-10-10-50,host-10-10-10-36,host-10-10-10-38,host-10-10-10-30</value>

        </property>

$ vi HBase-site.xml  把host-10-10-10-30 替换为host-10-10-10-37

 

七、重启相关服务

 

部署ZooKeeper节点比较简单，当初部署集群的时候怎么部署的，现在就重新部署一个节点就可以，注意修改zoo.cfg配置文件。其它依赖于ZooKeeper集群的相关服务比如Hadoop、HBase、Hive、flume等都需要修改配置文件，小技巧，记住修改的是xxx-site.xml文件关键字是site.xml文件。

 

接下来需要重启服务，启动顺序为ZooKeeper--->Hadoop--->HBase,关闭顺序为HBase--->Hadoop--->ZooKeepe。

 

具体命令如下：

 

1、重启zookeepe命令：./zkServer.sh restart

 

2、关闭HBase集群命令：./stop-HBase.sh

 

3、关闭Hadoop集群命令：

./stop-yarn.sh && ./stop-dfs.sh 

./yarn-daemon.sh stop resourcemanager

 

4、启动Hadoop集群命令：

./start-yarn.sh && ./start-dfs.sh 

./yarn-daemon.sh start resourcemanager

 

5、启动HBase集群命令：./start-HBase.sh

 

6、通过命令验证配置是否同步

 

 

可以看到所有相关系统的配置都已经同步到了新增的ZooKeeper-server中。

 

7、使用网页方式验证Hadoop集群和HBase状态，不同环境端口可能不一样

10.10.10.37:8088

 

 

10.10.10.37:50070

 

 

10.10.10.37:60010

 

 

八、遇到问题

 

1、直接启动新节点ZooKeeper报错信息

 

 

在部署好的ZooKeeper服务器直接启动会报上面的错误，更换了IP的主机无法直接加入ZooKeeper集群，需要先重启原有4台ZooKeeper集群才可以。

 

小结

 

1. 目前ZooKeeper不支持动态添加节点，添加节点需要重启所有ZooKeeper
2. ZooKeeper 添加、删除主要修改zoo.cfg文件，zoo.cfg文件需要备份保存好
3. Namenode 的主备高可用依赖ZooKeeper，所以需要修改hdfs-site.xml
4. Resouremanager的主备高可用依赖ZooKeeper，需要修改yarn-site.xml
5. HBase的主备高可用依赖ZooKeeper，需要修改HBase-site.xml
6. 如果有Hive、Flume也需要修改相关的配置
7. 因为生产环境刚上线，所以直接重启了集群服务，如果实时性要求比较高，没有维护窗口，可以单独重启相关服务，尽可能减少影响。