一、背景
基于公司发展硬性需求,生产VM服务器要统一迁移到ZStack 虚拟化服务器。检查自己项目使用的服务器,其中zookeeper集群中招,所以需要进行迁移。
二、迁移计划
为了使迁移不对业务产生影响,所以最好是采用扩容
-> 缩容
的方式进行。
说明:
1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群;
2.对该集群扩容,增加至6节点(新增ZS-1,ZS-2,ZS-3),进行数据同步完成;
3.进行缩容,下掉原先来的三个节点(VM-1,VM-2,VM-3);
4.替换nginx解析地址。
OK! 目标很明确,过程也很清晰,然后开干。
三、步骤 (过程已在测试环境验证无问题):
-
对新增的三台服务器进行zk环境配置,和老集群配置一样即可,最好使用同一版本(版主使用的是3.4.6);
-
对老节点的zoo.cfg 增加新集群的地址(逐一增加),然后对新增加节点逐一重启。
四、问题
ZS-1
启动成功,zkServer.sh status 报错,用zkServer.sh status查看,反馈如下异常:
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
此时查看数据,数据同步正常
ZS-1 数据同步正常,但是无法查看节点的状态信息;
-
怀疑是因为老节点没有重启的原因;此时去查看原集群节点信息,发现原集群节点状态异常。经排查定位,原集群的状态一直处于异常状态。
-
初步定位原因可能是原集群的选举存在异常,导致新节点无法正常纳入,继续排查。
-
恢复集群初始状态,如果集群节点的状态一直没法正常查看。OK 继续定位…
五、排查过程
以下方法来自于网络:
可能有以下几个原因:
第一、zoo.cfg文件配置:dataLogDir指定的目录未被创建。</