How to do - ZooKeeper集群搭建，一篇就够

ZooKeeper集群介绍

---

最典型集群模式： Master/Slave 模式（主备模式）。在这种模式中，通常 Master服务器作为主服务器提供写服务，其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。

但是，在 ZooKeeper 中没有选择传统的 Master/Slave 概念，而是引入了Leader、Follower 和 Observer 三种角色。如下图所示：

 

ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器，Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外，Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别在于 Observer 机器不参与 Leader 的选举过程，也不参与写操作的“过半写成功”策略，因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。

 

ZooKeeper集群搭建

---

为了获得可靠的 ZooKeeper 服务，用户应该在一个集群上部署 ZooKeeper 。只要集群上大多数的ZooKeeper 服务启动了，那么总的 ZooKeeper 服务将是可用的。另外，最好使用奇数台机器， 因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。 如果 zookeeper拥有 5 台机器，那么它就能处理 2 台机器的故障了。

【注意】 搭建zookeeper集群时，一定要先停止已经启动的zookeeper节点。

Step1：配置zookeeper

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/etc/zookeeper/data

dataLogDir=/etc/zookeeper/logs

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

autopurge.purgeInterval=1

 

minSessionTimeout=2

maxSessionTimeout=20

 

server.1=192.168.1.127:2888:3888

server.2=192.168.1.128:2888:3888

server.3=192.168.1.139:2888:3888

server.4=192.168.1.130:2888:3888:observer

server.5=192.168.1.131:2888:3888:observer

 

• autopurge配置

客户端在与zookeeper交互过程中会产生非常多的日志，而且zookeeper也会将内存中的数据作为snapshot保存下来，这些数据是不会被自动删除的，这样磁盘中这样的数据就会越来越多。不过可以通过这两个参数来设置，让zookeeper自动删除数据。

autopurge.purgeInterval：指定自动清理快照文件和事务日志文件的时间，单位为h，默认为0表示不自动清理，这个时候可以使用脚本zkCleanup.sh手动清理。如果不清理则磁盘空间占用越来越大。

autopurge.snapRetainCount：用于指定保留快照文件和事务日志文件的个数，默认为3。

不过如果你的集群是一个非常繁忙的集群，然后又碰上这个删除操作，可能会影响zookeeper集群的性能，所以一般会让这个过程在访问低谷的时候进行，但是遗憾的是zookeeper并没有设置在哪个时间点运行的设置，所以有的时候我们会禁用这个自动删除的功能，而做一些其他手段，比如手动或者自动地在凌晨做清理工作。

• Server.ID配置

server.id=IP/Host : port1 : port2

id：用来配置ZK集群中的各节点，并建议id的值和myid保持一致，【注意】下文会讲myid的配置。

IP/Host: 服务器的 IP 或者是与 IP 地址做了映射的主机名

port1：Leader和Follower或Observer交换数据使用

port2：用于Leader选举

• minSessionTimeout, maxSessionTimeout

一般，客户端连接zookeeper的时候，都会设置一个session timeout，如果超过这个时间client没有与zookeeper server有联系，则这个session会被设置为过期(如果这个session上有临时节点，则会被全部删除，这就是实现集群感知的基础)。但是这个时间不是客户端可以无限制设置的，服务器可以设置这两个参数来限制客户端设置的范围。

 

 

Step2: 创建myid文件

上文我们在每个zookeeper服务器的配置文件里配置了这样的信息：

server.1=192.168.1.127:2888:3888

server.2=192.168.1.128:2888:3888

server.3=192.168.1.139:2888:3888

server.4=192.168.1.130:2888:3888:observer

server.5=192.168.1.131:2888:3888:observer

 

server.id，这个id就是指zookeeper服务器在集群中的编号，我们需要把这个id写入到myid文件中，这个myid值在zookeeper集群中的选举过程中会做一个非常大的作用。比如在192.168.120.78这台机器中首先创建myid文件（dataDir目录，如上配置是/etc/zookeeper/data），然后执行下列操作：

echo "1" > /etc/zookeeper/data/myid

 

Step3：启动zookeeper服务，并查看状态

首先查看192.168.1.126的zookeeper服务的状态：

root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: follower

 

查看192.168.1.128的zookeeper服务的状态

root@ubuntu:/home/lee/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lee/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: leader

 

查看192.168.1.130的zookeeper服务的状态

root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: follower

 

Step4: 加入观察者节点

具体可以参考： https://zookeeper.apache.org/doc/r3.4.14/zookeeperObservers.html

观察者节点为192.168.1.134，myid为4

 

第一步，在观察者节点的配置文件中增加以下内容：

peerType=observer

 

第二步，在其它的节点上修改配置添加

server.4=192.168.1.134:2888:3888:observer

 

查看状态：

root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: observer

 

【注意】如果你在安装过程中遇到问题，都可以找Lee哥，找Lee哥的两种方式：

1. 通过链接： https://dwz.cn/geJGg1xr

2. 或者通过博客：lee.0voice.com

视频教程：https://www.bilibili.com/video/av58475217/