Zookeeper一般会出现以下两种故障:
-
Zookeeper进程挂掉;
-
Zookeeper进程还在,但不提供服务;(提示:This ZooKeeper instance is not currently serving requests)
Zookeeper故障监控:
-
针对zookeeper进程的监控,直接监控器进程是否存在即可;(zookeeper进程名字:QuorumPeerMain)
-
针对zookeeper不能提供服务,需要通过linux shell命令监控;
当在linux下输入以下命令并得到下面的结果时,说明zookeeper还活着,但不提供服务了。(这种情况几率大)
[root@nwh120 bin]# echo stat | nc localhost 2181
This ZooKeeper instance is not currently serving requests
当在linux下输入以下命令并得到下面的结果时,说明zookeeper服务正常。
[root@nwh120 bin]# echo stat | nc localhost 2181
Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Clients:
/nwh120:294321
/127.0.0.1:434480
Latency min/avg/max: 0/1/11
Received: 235
Sent: 17
Connections: 2
Outstanding: 0
Zxid: 0x100000004
Mode: leader
Node count: 4
Zookeeper故障处理:
- 当zookeeper出现以上两种故障或未知故障时,请先尝试重启zookeeper;
(启动命令:/usr/zookeeper-3.4.6/bin/ 目录下执行 ./zkServer.sh start )
-
重启之后首先要输入命令jps,看zookeeper进程(QuorumPeerMain)是否起来;
-
如果zookeeper进程起来,再输入命令echo stat | nc localhost 2181,看服务是否正常(如果数据量大可能需要等几分钟才能显示正确);
-
如果第2步的进程没有起来,或者第3步的显示不能提供服务,则需要清除以下数据后再试1、2、3步;
需要清除下面两个文件夹下的所有数据(最好将数据备份到别的地方或重命名文件夹名字):
/var/zookeeper/data/version-2
/var/zookeeper/logs/version-2
- 如果不幸走到了这一步,则意味着第4步重试后第2步进程还是没有起来或第3步不能提供服务,这时需要重新搭建一套zookeeper服务,并修改所有使用zookeeper服务的hosts。
Zookeeper服务搭建:
-
将附件中的安装包解压到linux机器上的 /usr/ 目录下;如:/usr/zookeeper-3.4.6
-
修改附件中的zoo.cfg文件,将文件中的的ip修改为新机器的ip;
server.1=nwh120:2888:3888
server.2=nwh121:2888:3888
server.3=nwh122:2888:3888
-
将修改完的zoo.cfg文件拷贝到解压目录 /usr/zookeeper-3.4.6/conf/ ;
-
在新机器上创建以下目录和文件:
/var/zookeeper/data/
/var/zookeeper/logs/
/var/zookeeper/data/myid 该文件下要写上第2步中ip对应的server.后面的数字,比如nwh120 ip对应的是server.1,则该机器上的myid中的内容就是1。其他的都类似。
- 到此为止zookeeper服务就搭建完毕了,下面就需要启动zookeeper了。
(启动命令:/usr/zookeeper-3.4.6/bin/ 目录下执行 ./zkServer.sh start )