Zookeeper的学习与应用
Zookeeper工作机制
从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,负责存储和管理,接收观察者的注册,当数据状态发生变化,负责通知已经注册的观察者,便于做出反应”
文件系统 + 通知机制
特点
- 一个领导者(Leader),多个跟随者(Follower)组成的集群
- 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务
- 全局数据一致:每个server保存一份相同的副本,client无论连接到哪个server,数据都是一致
- 更新请求顺序进行,来自同一个client的更新请求按请求按发送顺序一次执行
- 数据更新原子性,一次数据更新要么成功,要么失败
- 实时性,在一定时间范围内,client能读到最新数据
数据结构
ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能够存储1M B的数据,每个ZNode都可以通过其路径唯一标识。
应用场景
- 统一命名服务:在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。
- 统一配置管理:对配置文件修改后,能够快速同步到各个节点上;
可交由Zookeeper实现,各个客户端服务器监听这个Znode,一旦Znode中的数据被修改,Zookeeper将通知各个客户端服务器 - 统一集群管理:将节点信息写入Zookeeper上的Znode,监听这个Znode可获取它的实时状态变化
- 服务器动态上下线:实时洞察到服务器上下线的变化(监听器)
- 软负载均衡:记录每天服务器的访问次数,让访问数最少的服务器去处理最新的客户端请求
Zookeeper内部原理
节点类型
- 持久:客户端和服务器断开连接后,创建的节点不会被删除
- 短暂:客户端和服务器断开连接后,创建的节点自己删除
Stat结构体
- czxid-创建节点的事务 zxid
每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳,也就是 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之前发生。 - ctime - znode 被创建的毫秒数(从 1970 年开始)
- mzxid - znode 最后更新的事务 zxid
- mtime - znode 最后修改的毫秒数(从 1970 年开始)
- pZxid-znode 最后更新的子节点 zxid
- cversion - znode 子节点变化号,znode 子节点修改次数
- dataversion - znode 数据变化号
- aclVersion - znode 访问控制列表的变化号
- ephemeralOwner- 如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0
- dataLength- znode 的数据长度
- numChildren - znode 子节点数量
Zookeeper监听器原理(面试重点)
监听过程
- 首先要有一个main()线程
- 在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connect),一个负责监听(listener)
- 通过connect线程将注册的监听事件发送给Zookeeper
- 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中
- Zookeeper监听到有数据或者路径变化时,就会将消息发送给listener线程
- listener线程内部调用process()方法
常见监听
- 监听节点数据的变化——get path[watch]
- 监听子节点增减变化——ls path[watch]
选举机制(面试重点)
- 半数机制:集群中半数以上的机器存活,集群可用。所以Zookeeper适合安装奇数台服务器
- Zookeeper虽然在配置文件中并没有指定Master和Slave,但是Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的,超过半数以上投票则为Leader。
- Serverid:服务器ID,编号越大在选择算法中的权重越大。
写数据流程
- Client 向 ZooKeeper 的Server1 上写数据,发送一个写请求。
- 如果Server1不是Leader,那么Server1 会把接受到的请求进一步转发Leader,因为每个ZooKeeper的Server里面有一个是Leader。这个Leader 会将写请求广播给各个Server,比如Server1和Server2,各个Server会将该写请求加入待写列,并向Leader发送成功信息。
- 当Leader收到半数以上 Server 的成功信息,说明该写操作可以执行。Leader会向各个Server 发送提交信息,各个Server收到信息后会落实队列里的写请求,此时写成功。
- Server1会进一步通知 Client 数据写成功了,这时就认为整个写操作成功。
CAP
- Zookeeper 保证的是 CP
- Eureka / Nacos 保证的是AP