分布式协调服务框架Zookeeper——（ZooKeeper命令，Leader选举，ZAB⼀致性协议）

在制造业做MES系统的任同学...

已于 2023-01-13 17:17:23 修改

阅读量266

点赞数

文章标签： java 分布式 java-zookeeper zookeeper 大数据

于 2021-08-21 18:36:46 首次发布

本文链接：https://blog.csdn.net/qq_43408367/article/details/119843315

版权

Zookeeper 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

文章目录

ZooKeeper命令

查看Zookeepr命令：help

[zk: localhost:2181(CONNECTED) 1] help
ZooKeeper -server host:port cmd args
	stat path [watch]
	set path data [version]
	ls path [watch]
	delquota [-n|-b] path
	ls2 path [watch]
	setAcl path acl
	setquota -n|-b val path
	history 
	redo cmdno
	printwatches on|off
	delete path [version]
	sync path
	listquota path
	rmr path
	get path [watch]
	create [-s] [-e] path data acl
	addauth scheme auth
	quit 
	getAcl path
	close 
	connect host:port

创建节点：使⽤create命令创建zookeeper节点，如
```
create [-s][-e] path data 其中，-s或-e分别指定节点特性，顺序或临时节点，若不指定，则创建持久节点
```
1. 创建顺序节点：使⽤ create -s /zk-test 123 命令创建zk-test顺序节点，在根节点下创建了⼀个叫做/zk-test的节点，该节点内容就是123，同时可以看到创建的zk-test节点后⾯添加了⼀串数字以示区别
```
[zk: localhost:2181(CONNECTED) 7] create -s /zk-test 123
Created /zk-test0000000007
```
2. 创建临时节点：使⽤ create -e /zk-temp 123 命令创建zk-temp临时节，临时节点在客户端会话结束后，会自动删除（quit退出后，自动删除）
```
[zk: localhost:2181(CONNECTED) 15]  create -e /zk-temp 123
Created /zk-temp
```
3. 创建永久节点：使⽤ create /zk-permanent 123 命令创建zk-permanent永久节点 ,永久节点不同于顺序节点，不会⾃动在后⾯添加⼀串数字
```
[zk: localhost:2181(CONNECTED) 17] create /zk-permanent 123
Created /zk-permanent
```
读取节点：读取相关的命令有ls 命令和get 命令：
1. ls命令可以列出Zookeeper指定节点下的所有⼦节点，但只能查看指定节点下的第⼀级的所有⼦节点；
```
ls path 其中，path表示的是指定数据节点的节点路径
```
2. get命令可以获取Zookeeper指定节点的数据内容和属性信息
```
get path
```
3. 获取根节点下⾯的所有⼦节点，使⽤ls / 命令即可
```
[zk: localhost:2181(CONNECTED) 2] ls /
[zk-permanent, zk-test0000000000, zookeeper
```
4. 想获取/zk-permanent的数据内容和属性，第⼀⾏是节点/zk-permanent 的数据内容，其他⼏⾏则是创建该节点的事务ID（cZxid）、最后⼀次更新该节点的事务ID（mZxid）和最后⼀次更新该节点的时间（mtime）等属性信息
```
[zk: localhost:2181(CONNECTED) 19] get /zk-permanent
123
cZxid = 0x1100000011
ctime = Fri Jan 13 09:44:04 CST 2023
mZxid = 0x1100000011
mtime = Fri Jan 13 09:44:04 CST 2023
pZxid = 0x1100000011
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
```
5. 更新节点：使⽤set命令，可以更新指定节点的数据内容，set path data，data就是要更新的新内容，version表示数据版本，在zookeeper中，节点的数据是有版本概念的，这个参数⽤于指定本次更新操作是基于Znode的哪⼀个数据版本进⾏的，如将/zk-permanent节点的数据更新为456，现在dataVersion已经变为1了，表示进⾏了更新
```
[zk: localhost:2181(CONNECTED) 20] set /zk-permanent 456
cZxid = 0x1100000011
ctime = Fri Jan 13 09:44:04 CST 2023
mZxid = 0x1100000012
mtime = Fri Jan 13 10:52:14 CST 2023
pZxid = 0x1100000011
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
```
6. 删除节点：使⽤delete命令可以删除Zookeeper上的指定节点，delete path，使⽤delete /zk-permanent 命令即可删除/zk-permanent节点，已经成功删除/zk-permanent节点。值得注意的是，若删除节点存在⼦节点，那么⽆法删除该节点，必须先删除⼦节点，再删除⽗节点
```
[zk: localhost:2181(CONNECTED) 21] delete /zk-permanent
[zk: localhost:2181(CONNECTED) 22] ls /
[zk-test0000000007, zookeeper]
```

Zookeeper——Leader选举

配置 zoo.cfg文件，建立Zookeeper集群

#######################cluster##########################
server.1=192.168.88.128:2888:3888
server.2=192.168.88.129:2888:3888
server.3=192.168.88.130:2888:3888
server.4=192.168.88.131:2888:3888
server.5=192.168.88.132:2888:3888
配置参数解读 server.A=B:C:D
A：一个数字，表示第几号服务器，集群模式下配置的/opt/zookeeper/zkData/myid文件里面的数据就是A的值
B：服务器的ip地址
C：与集群中Leader服务器交换信息的端口
D：选举时专用端口，万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

Zookeeper 选举机制为半数机制：

集群⾸次启动

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器
Zookeeper虽然在配置⽂件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的
Server1先投票，投给自己，自己为1票，没有超过半数，根本无法成为leader，它发出去的报⽂没有任何响应，所以它的选举状态⼀直是LOOKING状态。
Server2启动，它与最开始启动的 Server1进⾏通信，互相交换⾃⼰的选举结果，由于两者都没有
历史数据，所以id值较⼤的 Server2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个
例⼦中的半数以上是3)，所以 Server1、2还是继续保持LOOKING状态。
Server3启动，根据前⾯的理论分析，Server3成为Server1、2、3中的⽼⼤，⽽与上⾯不同的
是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。
Server4启动，根据前⾯的分析，理论上Server4应该是Server1、2、3、4中最⼤的，但是由于前
⾯已经有半数以上的服务器选举了Server3，所以它只能当follower。
Server5启动，Server4⼀样称为follower

集群⾮⾸次启动

每个节点在选举时都会参考⾃身节点的zxid值（事务ID）；优先选择zxid值⼤的节点称为Leader!!

Zookeeper——ZAB⼀致性协议

分布式数据⼀致性问题

分布式数据的出现

将数据复制到分布式部署的多台机器中，可以消除单点故障，防⽌系统由于某台（些）机器宕机导致的不可⽤。
通过负载均衡技术，能够让分布在不同地⽅的数据副本全都对外提供服务。有效提⾼系统性能。

为什么会出现分布式数据⼀致性问题？

在分布式系统中引⼊数据复制机制后，多台数据节点之间由于⽹络等原因很容易产⽣数据不⼀致的情况。
当客户端Client1将系统中的⼀个值K1由V1更新为V2，但是客户端Client2读取的是⼀个还没有同步更新的副本，K1的值依然是V1,这就导致了数据的不⼀致性。其中，常⻅的就是主从数据库之间的复制延时问题

在这里插入图片描述

ZAB协议

ZK就是分布式⼀致性问题的⼯业解决⽅案，paxos是其底层理论算法(晦涩难懂著名)，其中zab，raft和众多开源算法是对paxos的⼯业级实现。ZK没有完全采⽤paxos算法，⽽是使⽤了⼀种称为ZookeeperAtomic Broadcast（ZAB，Zookeeper原⼦消息⼴播协议）的协议作为其数据⼀致性的核⼼算法。
ZAB 协议是为分布式协调服务 Zookeeper 专⻔设计的⼀种⽀持崩溃恢复和原⼦⼴播协议。

在这里插入图片描述

ZK将所有客户端写⼊数据都是写⼊Leader中，然后，由 Leader 复制到Follower中。ZAB会将服务器数据的状态变更以事务Proposal的形式⼴播到所有的副本进程上，ZAB协议能够保证了事务操作的⼀个全局的变更序号(ZXID)。

⼴播消息

ZAB 协议的消息⼴播过程类似于⼆阶段提交过程。对于客户端发送的写请求，全部由 Leader 接收，Leader 将请求封装成⼀个事务 Proposal(提议)，将其发送给所有 Follwer ，如果收到超过半数反馈ACK，则执⾏ Commit 操作（先提交⾃⼰，再发送 Commit 给所有 Follwer）

在这里插入图片描述

不能正常反馈Follower恢复正常后会进⼊数据同步阶段最终与Leader保持⼀致！

PS：

Leader接收到Client请求之后，会将这个请求封装成⼀个事务，并给这个事务分配⼀个全局递增的唯⼀ ID，称为事务ID（ZXID），ZAB 协议要求保证事务的顺序，因此必须将每⼀个事务按照 ZXID进⾏先后排序然后处理。
ZK集群为了保证任何事务操作能够有序的顺序执⾏，只能是 Leader 服务器接受写请求，即使是Follower 服务器接受到客户端的请求，也会转发到 Leader 服务器进⾏处理
zk提供的应该是最终⼀致性的标准。zk所有节点接收写请求之后可以在⼀定时间内保证所有节点都能看到该条数据！

Leader 崩溃问题

Leader宕机后，ZK集群⽆法正常⼯作，ZAB协议提供了⼀个⾼效且可靠的leader选举算法。
Leader宕机后，被选举的新Leader需要解决的问题
1. ZAB 协议确保那些已经在 Leader 提交的事务最终会被所有服务器提交
2. ZAB 协议确保丢弃那些只在 Leader 提出/复制，但没有提交的事务
ZAB协议设计了⼀个选举算法：能够确保已经被Leader提交的事务被集群接受，丢弃还没有提交的事务。这个选举算法的关键点：保证选举出的新Leader拥有集群中所有节点最⼤编号(ZXID)的事务!!