1.Zookeeper简介
1.1 概述
Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目
Zookeeper从设计模式角度来理解:是一个基 于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册 的那些观察者做出相应的反应
Zookeeper=文件系统+通知机制
1.2 特点 Zookeeper特点
- Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群
- 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务
- 全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的
- 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行
- 数据更新原子性,一次数据更新要么成功,要么失败
- 实时性,在一定时间范围内,Client能读到最新数据
1.3 数据结构
ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一 个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识
1.4 应用场景
提供的服务包括 统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下 线、软负载均衡等
1.4.1统一命名服务
在分布式环境下,经常需要对应用/服 务进行统一命名,便于识别。例如:IP不容易记住,而域名容易记住
1.4.2统一配置管理
1)分布式环境下,配置文件同步非常常见
(1)一般要求一个集群中,所有节点的配置信息是一致的,比如 Kafka 集群
(2)对配置文件修改后,希望能够快速同步到各个节点上
2)配置管理可交由ZooKeeper实现。
(1)可将配置信息写入ZooKeeper上的一个Znode。
(2)各个客户端服务器监听这个Znode。
(3)一旦Znode中的数据被修改,ZooKeeper将通知 各个客户端服务器。
1.4.3统一集群管理
1)分布式环境中,实时掌握每个节点的状态是必要的:可根据节点实时状态做出一些调整。
2)ZooKeeper可以实现实时监控节点状态变化
- 可将节点信息写入ZooKeeper上的一个ZNode
- 监听这个ZNode可获取它的实时状态变化。
2.zk安装
2.1 standalone安装步骤
略 参考
2.2 配置参数解读
Zookeeper中的配置文件zoo.cfg中参数含义解读如下:
- tickTime =2000:通信心跳数,Zookeeper 服务器与客户端心跳时间,单位毫秒 Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。 它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
- initLimit =10:LF 初始通信时限集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心 跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。
- syncLimit =5:LF 同步通信时限 集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit*tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer
- dataDir:数据文件目录+数据持久化路径主要用于保存 Zookeeper 中的数据。
- clientPort =2181:客户端连接端口监听客户端连接的端口。
2.4 分布式安装部署
略 参考
2.4 客户端命令行操作
略 参考
3.zk内部原理
3.1 选举机制
➢ 半数机制:集群中半数以上机器存活,集群可用。所以 Zookeeper 适合安装奇数台 服务器。
➢ Zookeeper 虽然在配置文件中并没有指定 Master 和 Slave。但是,Zookeeper 工作时, 是有一个节点为 Leader,其他则为 Follower,Leader 是通过内部的选举机制临时产生的
➢ 以一个简单的例子来说明整个选举的过程
有五台服务器组成的 Zookeeper 集群,它们的 id 从 1-5,都是最新启动的,假设这些服务器依序启动
- 服务器1启动,发起一次选举。服务器 1 投自己一票。此时服务器 1 票数一票,不够半数以上(3 票),选举无法完成,服务器 1 状态保持为 LOOKING;
- 服务器 2 启动,再发起一次选举。服务器 1 和 2 分别投自己一票并交换选票信息: 此时服务器 1 发现服务器 2 的 ID 比自己目前投票推举的(服务器 1)大,更改选票为推举 服务器 2。此时服务器1票数0票,服务器 2 票数2票,没有半数以上结果,选举无法完成,服务器 1,2 状态保持 LOOKING
- 服务器 3 启动,发起一次选举。此时服务器 1 和 2 都会更改选票为服务器 3。此次投票结果:服务器1为 0 票,服务器 2 为0票,服务器3为3票。此时服务器 3 的票数已经超过半数,服务器 3 当选 Leader。服务器 1,2 更改状态为 FOLLOWING,服务器 3 更改 状态为 LEADING
- 服务器 4 启动,发起一次选举。此时服务器 1,2,3 已经不是 LOOKING 状态, 不会更改选票信息。交换选票信息结果:服务器 3 为 3 票,服务器 4 为 1 票。此时服务器 4 服从多数,更改选票信息为服务器 3,并更改状态为 FOLLOWING;
- 服务器 5 启动,同 4 一样当小弟
服务器上线后会优先投自己,如果没有结果会保持LOOKING状态,当有新的服务器加入会改票投最大的服务器ID,如此反复,知道选出LEADING
3.2 节点类型
3.2.1节点分类
持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除
3.2.2顺序标志
创建znode时设置顺序标识,znode名称 后会附加一个值,顺序号是一个单调递增的计数 器,由父节点维护
注意:在分布式系统中,顺序号可以被用于 为所有的事件进行全局排序,这样客户端可以通 过顺序号推断事件的顺序
3.2.3说明
- 持久化目录节点 客户端与Zookeeper断开连接后,该节点依旧存在
- 持久化顺序编号目录节点 客户端与Zookeeper断开连接后,该节点依旧存 在,只是Zookeeper给该节点名称进行顺序编号
- 临时目录节点 客户端与Zookeeper断开连接后,该节点被删除
- 临时顺序编号目录节点 客户端与Zookeeper断开连接后,该节点被删除,只是 Zookeeper给该节点名称进行顺序编号
3.3 Stat 结构体
- czxid-创建节点的事务 zxid : 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳,也就是 ZooKeeper 事务 ID。 事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid,如果 zxid1小于 zxid2,那么 zxid1 在 zxid2 之前发生。
- ctime - znode 被创建的毫秒数(从 1970 年开始)
- mzxid - znode 最后更新的事务 zxid
- mtime - znode 最后修改的毫秒数(从 1970 年开始)
- pZxid-znode 最后更新的子节点 zxid
- cversion - znode 子节点变化号,znode 子节点修改次数
- dataversion - znode 数据变化号
- aclVersion - znode 访问控制列表的变化号
- ephemeralOwner- 如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节 点则是 0。
- dataLength- znode 的数据长度
- numChildren - znode 子节点数量
3.4 监听器原理
3.4.1监听原理详解:
➢ 首先要有一个main()线程
➢ 在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet),一个负责监听(listener)。
➢ 通过connect线程将注册的监听事件发送给Zookeeper
➢ 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中
➢ Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程
➢ listener线程内部调用了process()方法
3.4.2常用监听
➢ 监听节点数据的变化
get path [watch]
➢ 监听子节点增减的变化
ls path [watch]
4.5 写数据流程
当leader收到半数以上server成功信息,说明写操作可以执行
5.API 应用
5.1 创建 ZooKeeper 客户端
// 连接服务器
@Before
public void init() throws IOException {
zkClient = new ZooKeeper(CONNECT_STRING, SESSION_TIMEOUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 监听逻辑在此处实现
List<String> children = null;
try {
children = zkClient.getChildren("/", true);
System.out.println("-------------start-------------");
children.stream().forEach(System.out::println);
System.out.println("-------------end-------------");
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
5.2 创建子节点
public void createNode() throws KeeperException, InterruptedException {
//
String path = zkClient.create("/zkTest", "zknode1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
System.out.println(path);
}
5.3 获取子节点并监听节点变化
public void getDataAndWatch() throws InterruptedException, KeeperException {
List<String> children = zkClient.getChildren("/", false);
for (String child : children) {
System.out.println(child);
}
Thread.sleep(Long.MAX_VALUE);
}
5.4 判断 Znode 是否存在
public void exist() throws KeeperException, InterruptedException {
Stat stat = zkClient.exists("/zk1", false);
System.out.println(stat == null ? "not exists" : "exists");
}
5.5 监听服务器节点动态上下线案例
5.5.1.需求
某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知 到主节点服务器的上下线