Zookeeper

一、入门

1、概述

Zookeeper=文件系统+通知机制

Zookeeper是开源的分布式的，为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就会负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

步骤：

（1）服务端启动时去注册信息（创建都是临时节点）；

（2）获取到当前在线列表，并且注册监听；（文件系统）

（3）服务器节点下线；

（4）Zookeeper集群会通知客户端：服务器节点上下线事件通知；（通知机制）

（5）process(){重新再去获取服务器列表，并注册监听}；

2、特点

（1）Zookeeper：一个领导者（Leader），多个跟随着（Follower）组成的集群；

（2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务；

（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的；

（4）更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行；

（5）数据更新原子性，一次数据更新要么成功，要么失败；

（6）实时性，在一定时间范围内，Client能读到最新数据。

3、数据结构

Zookeeper数据模型的结构与Unix文件系统很类似，整体上可以看作一棵树，每个节点称作一个ZNode，每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

4、应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

（1）统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。

如：IP不容易记住，而域名容易记住。

（2）统一配置管理

①、分布式环境下，配置文件同步非常常见

• 一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群；

• 对配置文件修改后，希望能够快速同步到各个节点上。

②、配置管理可交由Zookeeper实现

• 可将配置信息写入Zookeeper上的一个Znode；

• 各个客户端服务器监听这个Znode；

• 一旦Znode中的数据被修改，Zookeeper将通知各个客户端服务器。

（3）统一集群管理

①、分布式环境中，实时掌握每个节点的状态是必要的

• 可根据节点实时状态做出一些调整

②、Zookeeper可以实现实时监控节点状态变化

• 可将节点信息写入Zookeeper上的一个ZNode；

• 监听这个ZNode可获取它的实时状态变化。

（4）服务器动态上下线

• 服务端启动时去注册信息（创建都是临时节点）；

• 启动就getChildren,获取到当前在线列表，并且注册监听；

• 服务器节点下线；

• Zookeeper集群会通知客户端：服务器节点上下线事件通知；

• process(){重新再去获取服务器列表，并注册监听}；

（5）软负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

二、安装

1、配置参数

zoo.cfg配置文件

2888：通信端口号

3888：选举的端口号

• tickTime=2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒；

• initLimit=10：LF初始通信时限，集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量）；

• syncLimit=5：LF同步通信时限，集群中Leader与Follower之间的最大响应时间单位；

• dataDir：数据文件目录+数据持久化路径；

• clientPort：客户端连接端口。

三、Zookeeper内部原理

1、选举机制

（1）半数机制

集群中半数以上机器存活，集群可用，所以Zookeeper适合安装奇数台服务器。

先投自己，后投服务id号大于自己的，当支持数超过一半直接升级为Leader。

（2）节点类型

• 持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除；

• 短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除。

①、持久化目录节点：客户端与Zookeeper断开连接后，该节点依旧存在；

②、持久化顺序编号目录节点：客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号，该节点会附加一个值，顺序号是单调递增的计数器，由父节点维护；（顺序号可以用于为所有的事件进行全局排序，这样可以推断事件的顺序）

③、临时目录节点：客户端与Zookeeper断开连接后，该节点被删除；

④、临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

（3） Stat结构体

• czxid：创建节点的事务zxid；

• ctime：znode被创建的毫秒数（1970）；

• mzxid：znode最后更新的事务zxid；

• mtime：znode最后修改的毫秒数（1970）；

• pZxid：znode最后更新的子节点zxid；

• cversion：znode子节点变化号，znode子节点修改次数；

• dataversion：znode数据变化号；

• aclVersion：znode访问控制列表的变化号；

• ephemeralOwner：如果是临时节点，是znode拥有者的session id，负责0；

• dataLength：znode的数据长度；

• numChildren：znode的子节点数量。

（4）监听器原理（*）

①、监听原理

• 有一个main()线程；

• 在main()线程中创建Zookeeper客户端，这时有两个线程：一个负责网络连接通信（connect），另一个负责监听（listener）；

• 通过connect线程将注册的监听事件发送给Zookeeper，getChildren("/", true)；

• 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中；

• 如果Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程；

• listener线程内部调用了process()方法。

②、常见的监听

• 监听节点数据的变化：get path [watch]；

• 监听子节点增减的变化：ls path [watch]。

（5）写数据流程

（1）Client向Zookeeper的Server1上写数据，发送一个写请求；

（2）如果Server1不是Leader，那么Server1会把接受到的请求进一步转发给Leader，因为每个Zookeeper的Server里面有一个是Leader。这个Leader会将写请求广播给每个Server，比如Server1和Server2，各个Server写成功后就会通知Leader。

（3）当Leader收到大多数Server数据写成功了，那么就说明数据写成功了。如果这里三个节点的话，只要有两个节点数据写成功了，那么就认为数据写成功了，写成功之后，Leader会告诉Server1数据写成功了。

（4）Server1会进一步通知Client数据写成功了，这时就认为整个写操作成功。

四、Zookeeper实战

1、Shell命令操作

• 启动客户端：bin/zkCli.sh；

• 显示所有操作命令：help；

• 查看当前znode中包含的内容：ls /；

• 查看当前节点详细数据：ls2 /；

• 创建两个节点：create /qml "qiao"，create /qml/qq "mei"；

• 获得节点的值：get /qml/qq；

• 创建短暂节点：create -e /qml "weChat"；

• 创建带有序号的节点：create -s /qml/qq "one"；

• 修改节点的值：set /qml/qq "ling"；

• 节点的值变化监听：get /qml watch；

• 节点的子节点变化监听（路径变化）ls /qml watch；

• 删除节点：delete /qml/qq；

• 递归删除节点：rmr /qml；

• 查看节点状态：stat /qml；

2、创建Zookeeper客户端

zkClient = new Zookeeper(connectString, sessionTimeout, new Watcher(){process()});

3、创建节点

String path = zkClient.create("/qml", "qiao".getBytes(), Ids.OPEN_ALL_UNSAFE, CreateMode.PERSISTENT);

4、获取子节点并监控数据变化

zkClient.getChildren("/", true);

5、判断ZNode是否存在

Stat stat = zkClient.exists("/", false);