一、入门
1、概述
Zookeeper=文件系统+通知机制
Zookeeper是开源的分布式的,为分布式应用提供协调服务的Apache项目。
Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就会负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
步骤:
(1)服务端启动时去注册信息(创建都是临时节点);
(2)获取到当前在线列表,并且注册监听;(文件系统)
(3)服务器节点下线;
(4)Zookeeper集群会通知客户端:服务器节点上下线事件通知;(通知机制)
(5)process(){重新再去获取服务器列表,并注册监听};
2、特点
(1)Zookeeper:一个领导者(Leader),多个跟随着(Follower)组成的集群;
(2)集群中只要有半数以上节点存活,Zookeeper集群就能正常服务;
(3)全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的;
(4)更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行;
(5)数据更新原子性,一次数据更新要么成功,要么失败;
(6)实时性,在一定时间范围内,Client能读到最新数据。
3、数据结构
Zookeeper数据模型的结构与Unix文件系统很类似,整体上可以看作一棵树,每个节点称作一个ZNode,每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
4、应用场景
提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
(1)统一命名服务
在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。
如:IP不容易记住,而域名容易记住。
(2)统一配置管理
①、分布式环境下,配置文件同步非常常见
-
一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群;
-
对配置文件修改后,希望能够快速同步到各个节点上。
②、配置管理可交由Zookeeper实现
-
可将配置信息写入Zookeeper上的一个Znode;
-
各个客户端服务器监听这个Znode;
-
一旦Znode中的数据被修改,Zookeeper将通知各个客户端服务器。
(3)统一集群管理
①、分布式环境中,实时掌握每个节点的状态是必要的
-
可根据节点实时状态做出一些调整
②、Zookeeper可以实现实时监控节点状态变化
-
可将节点信息写入Zookeeper上的一个ZNode;
-
监听这个ZNode可获取它的实时状态变化。
(4)服务器动态上下线
-
服务端启动时去注册信息(创建都是临时节点);
-
启动就getChildren,获取到当前在线列表,并且注册监听;
-
服务器节点下线;
-
Zookeeper集群会通知客户端:服务器节点上下线事件通知;
-
process(){重新再去获取服务器列表,并注册监听};
(5)软负载均衡
在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。
二、安装
1、配置参数
zoo.cfg配置文件
2888:通信端口号
3888:选举的端口号
-
tickTime=2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒;
-
initLimit=10:LF初始通信时限,集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量);
-
syncLimit=5:LF同步通信时限,集群中Leader与Follower之间的最大响应时间单位;
-
dataDir:数据文件目录+数据持久化路径;
-
clientPort:客户端连接端口。
三、Zookeeper内部原理
1、选举机制
(1)半数机制
集群中半数以上机器存活,集群可用,所以Zookeeper适合安装奇数台服务器。
先投自己,后投服务id号大于自己的,当支持数超过一半直接升级为Leader。
(2)节点类型
-
持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除;
-
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除。
①、持久化目录节点:客户端与Zookeeper断开连接后,该节点依旧存在;
②、持久化顺序编号目录节点:客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号,该节点会附加一个值,顺序号是单调递增的计数器,由父节点维护;(顺序号可以用于为所有的事件进行全局排序,这样可以推断事件的顺序)
③、临时目录节点:客户端与Zookeeper断开连接后,该节点被删除;
④、临时顺序编号目录节点:客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号。
(3) Stat结构体
-
czxid:创建节点的事务zxid;
-
ctime:znode被创建的毫秒数(1970);
-
mzxid:znode最后更新的事务zxid;
-
mtime:znode最后修改的毫秒数(1970);
-
pZxid:znode最后更新的子节点zxid;
-
cversion:znode子节点变化号,znode子节点修改次数;
-
dataversion:znode数据变化号;
-
aclVersion:znode访问控制列表的变化号;
-
ephemeralOwner:如果是临时节点,是znode拥有者的session id,负责0;
-
dataLength:znode的数据长度;
-
numChildren:znode的子节点数量。
(4)监听器原理(*)
①、监听原理
-
有一个main()线程;
-
在main()线程中创建Zookeeper客户端,这时有两个线程:一个负责网络连接通信(connect),另一个负责监听(listener);
-
通过connect线程将注册的监听事件发送给Zookeeper,getChildren("/", true);
-
在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中;
-
如果Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程;
-
listener线程内部调用了process()方法。
②、常见的监听
-
监听节点数据的变化:
get path [watch]
; -
监听子节点增减的变化:
ls path [watch]
。
(5)写数据流程
(1)Client向Zookeeper的Server1上写数据,发送一个写请求;
(2)如果Server1不是Leader,那么Server1会把接受到的请求进一步转发给Leader,因为每个Zookeeper的Server里面有一个是Leader。这个Leader会将写请求广播给每个Server,比如Server1和Server2,各个Server写成功后就会通知Leader。
(3)当Leader收到大多数Server数据写成功了,那么就说明数据写成功了。如果这里三个节点的话,只要有两个节点数据写成功了,那么就认为数据写成功了,写成功之后,Leader会告诉Server1数据写成功了。
(4)Server1会进一步通知Client数据写成功了,这时就认为整个写操作成功。
四、Zookeeper实战
1、Shell命令操作
-
启动客户端:
bin/zkCli.sh
; -
显示所有操作命令:
help
; -
查看当前znode中包含的内容:
ls /
; -
查看当前节点详细数据:
ls2 /
; -
创建两个节点:
create /qml "qiao"
,create /qml/qq "mei"
; -
获得节点的值:
get /qml/qq
;
-
创建短暂节点:
create -e /qml "weChat"
;
-
创建带有序号的节点:
create -s /qml/qq "one"
;
-
修改节点的值:
set /qml/qq "ling"
; -
节点的值变化监听:
get /qml watch
;
-
节点的子节点变化监听(路径变化)
ls /qml watch
;
-
删除节点:
delete /qml/qq
;
-
递归删除节点:
rmr /qml
;
-
查看节点状态:
stat /qml
;
2、创建Zookeeper客户端
zkClient = new Zookeeper(connectString, sessionTimeout, new Watcher(){process()});
3、创建节点
String path = zkClient.create("/qml", "qiao".getBytes(), Ids.OPEN_ALL_UNSAFE, CreateMode.PERSISTENT);
4、获取子节点并监控数据变化
zkClient.getChildren("/", true);
5、判断ZNode是否存在
Stat stat = zkClient.exists("/", false);