ZooKeeper集群介绍
最典型集群模式: Master/Slave 模式(主备模式)。在这种模式中,通常 Master服务器作为主服务器提供写服务,其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。
但是,在 ZooKeeper 中没有选择传统的 Master/Slave 概念,而是引入了Leader、Follower 和 Observer 三种角色。如下图所示:
![1f9ac51731f44b2a51a1cda00dbe29b2.png](https://i-blog.csdnimg.cn/blog_migrate/4d7a853dacf99f19783a7f50efd5d45a.jpeg)
ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器,Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外,Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别在于 Observer 机器不参与 Leader 的选举过程,也不参与写操作的“过半写成功”策略,因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。
![43b8bf4629b0a5667d66d1505d2f82bd.png](https://i-blog.csdnimg.cn/blog_migrate/b869fc3c0087a1a59349bee1535e2c2a.jpeg)
ZooKeeper集群搭建
为了获得可靠的 ZooKeeper 服务,用户应该在一个集群上部署 ZooKeeper 。只要集群上大多数的ZooKeeper 服务启动了,那么总的 ZooKeeper 服务将是可用的。另外,最好使用奇数台机器, 因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。 如果 zookeeper拥有 5 台机器,那么它就能处理 2 台机器的故障了。
【注意】 搭建zookeeper集群时,一定要先停止已经启动的zookeeper节点。
Step1:配置zookeeper
# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pass between# sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just# example sakes.dataDir=/etc/zookeeper/datadataLogDir=/etc/zookeeper/logs# the port at which the clients will connectclientPort=2181# the maximum number of client connections.# increase this if you need to handle more clientsmaxClientCnxns=60## Be sure to read the maintenance section of the# administrator guide before turning on autopurge.## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## The number of snapshots to retain in dataDirautopurge.snapRetainCount=3# Purge task interval in hours# Set to "0" to disable auto purge featureautopurge.purgeInterval=1minSessionTimeout=2maxSessionTimeout=20server.1=192.168.1.127:2888:3888server.2=192.168.1.128:2888:3888server.3=192.168.1.139:2888:3888server.4=192.168.1.130:2888:3888:observerserver.5=192.168.1.131:2888:3888:observer
- autopurge配置
客户端在与zookeeper交互过程中会产生非常多的日志,而且zookeeper也会将内存中的数据作为snapshot保存下来,这些数据是不会被自动删除的,这样磁盘中这样的数据就会越来越多。不过可以通过这两个参数来设置,让zookeeper自动删除数据。
autopurge.purgeInterval:指定自动清理快照文件和事务日志文件的时间,单位为h,默认为0表示不自动清理,这个时候可以使用脚本zkCleanup.sh手动清理。如果不清理则磁盘空间占用越来越大。
autopurge.snapRetainCount:用于指定保留快照文件和事务日志文件的个数,默认为3。
不过如果你的集群是一个非常繁忙的集群,然后又碰上这个删除操作,可能会影响zookeeper集群的性能,所以一般会让这个过程在访问低谷的时候进行,但是遗憾的是zookeeper并没有设置在哪个时间点运行的设置,所以有的时候我们会禁用这个自动删除的功能,而做一些其他手段,比如手动或者自动地在凌晨做清理工作。
- Server.ID配置
server.id=IP/Host : port1 : port2
id:用来配置ZK集群中的各节点,并建议id的值和myid保持一致,【注意】下文会讲myid的配置。
IP/Host: 服务器的 IP 或者是与 IP 地址做了映射的主机名
port1:Leader和Follower或Observer交换数据使用
port2:用于Leader选举
- minSessionTimeout, maxSessionTimeout
一般,客户端连接zookeeper的时候,都会设置一个session timeout,如果超过这个时间client没有与zookeeper server有联系,则这个session会被设置为过期(如果这个session上有临时节点,则会被全部删除,这就是实现集群感知的基础)。但是这个时间不是客户端可以无限制设置的,服务器可以设置这两个参数来限制客户端设置的范围。
Step2: 创建myid文件
上文我们在每个zookeeper服务器的配置文件里配置了这样的信息:
server.1=192.168.1.127:2888:3888server.2=192.168.1.128:2888:3888server.3=192.168.1.139:2888:3888server.4=192.168.1.130:2888:3888:observerserver.5=192.168.1.131:2888:3888:observer
server.id,这个id就是指zookeeper服务器在集群中的编号,我们需要把这个id写入到myid文件中,这个myid值在zookeeper集群中的选举过程中会做一个非常大的作用。比如在192.168.120.78这台机器中首先创建myid文件(dataDir目录,如上配置是/etc/zookeeper/data),然后执行下列操作:
echo "1" > /etc/zookeeper/data/myid
Step3:启动zookeeper服务,并查看状态
首先查看192.168.1.126的zookeeper服务的状态:
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfgMode: follower
查看192.168.1.128的zookeeper服务的状态
root@ubuntu:/home/lee/source/zookeeper-3.4.12/bin# ./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/lee/source/zookeeper-3.4.12/bin/../conf/zoo.cfgMode: leader
查看192.168.1.130的zookeeper服务的状态
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfgMode: follower
Step4: 加入观察者节点
具体可以参考: https://zookeeper.apache.org/doc/r3.4.14/zookeeperObservers.html
观察者节点为192.168.1.134,myid为4
第一步,在观察者节点的配置文件中增加以下内容:
peerType=observer
第二步,在其它的节点上修改配置添加
server.4=192.168.1.134:2888:3888:observer
查看状态:
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfgMode: observer
视频教程:https://www.bilibili.com/video/av58475217/