Zookeeper 扩展之殇

一、背景

基于公司发展硬性需求，生产VM服务器要统一迁移到ZStack 虚拟化服务器。检查自己项目使用的服务器，其中zookeeper集群中招，所以需要进行迁移。

二、迁移计划

为了使迁移不对业务产生影响，所以最好是采用扩容 -> 缩容 的方式进行。

说明：
1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群；
2.对该集群扩容，增加至6节点（新增ZS-1,ZS-2,ZS-3），进行数据同步完成；
3.进行缩容，下掉原先来的三个节点（VM-1,VM-2,VM-3）；
4.替换nginx解析地址。

OK! 目标很明确，过程也很清晰，然后开干。

三、步骤 (过程已在测试环境验证无问题)：

1. 对新增的三台服务器进行zk环境配置，和老集群配置一样即可，最好使用同一版本（版主使用的是3.4.6）；

2. 对老节点的zoo.cfg 增加新集群的地址（逐一增加），然后对新增加节点逐一重启。

四、问题

• ZS-1 启动成功，zkServer.sh status 报错,用zkServer.sh status查看，反馈如下异常：

[root@localhost bin]# ./zkServer.sh  status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

• 此时查看数据，数据同步正常

ZS-1 数据同步正常，但是无法查看节点的状态信息；

• 怀疑是因为老节点没有重启的原因；此时去查看原集群节点信息，发现原集群节点状态异常。经排查定位，原集群的状态一直处于异常状态。

• 初步定位原因可能是原集群的选举存在异常，导致新节点无法正常纳入，继续排查。

• 恢复集群初始状态，如果集群节点的状态一直没法正常查看。OK 继续定位…

五、排查过程

以下方法来自于网络：

可能有以下几个原因：

第一、zoo.cfg文件配置：dataLogDir指定的目录未被创建。</