zookeeper简介

1.Zookeeper简介

1.1 概述

Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目

Zookeeper从设计模式角度来理解:是一个基 于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册 的那些观察者做出相应的反应

Zookeeper=文件系统+通知机制

1.2 特点 Zookeeper特点

1. Zookeeper:一个领导者(Leader)，多个跟随者(Follower)组成的集群
2. 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务
3. 全局数据一致:每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的 
4. 更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行
5. 数据更新原子性，一次数据更新要么成功，要么失败
6. 实时性，在一定时间范围内，Client能读到最新数据

1.3 数据结构

ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一 个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识

1.4 应用场景

提供的服务包括 统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下 线、软负载均衡等

1.4.1统一命名服务

在分布式环境下，经常需要对应用/服 务进行统一命名，便于识别。例如:IP不容易记住，而域名容易记住

1.4.2统一配置管理

1)分布式环境下，配置文件同步非常常见

(1)一般要求一个集群中，所有节点的配置信息是一致的，比如 Kafka 集群

(2)对配置文件修改后，希望能够快速同步到各个节点上

2)配置管理可交由ZooKeeper实现。

(1)可将配置信息写入ZooKeeper上的一个Znode。

(2)各个客户端服务器监听这个Znode。

(3)一旦Znode中的数据被修改，ZooKeeper将通知 各个客户端服务器。

1.4.3统一集群管理

1)分布式环境中，实时掌握每个节点的状态是必要的:可根据节点实时状态做出一些调整。

2)ZooKeeper可以实现实时监控节点状态变化

1. 可将节点信息写入ZooKeeper上的一个ZNode 
2. 监听这个ZNode可获取它的实时状态变化。

2.zk安装

2.1 standalone安装步骤

略  参考

2.2 配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下:

1. tickTime =2000:通信心跳数，Zookeeper 服务器与客户端心跳时间，单位毫秒 Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。 它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
2. initLimit =10:LF 初始通信时限集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心 跳数(tickTime的数量)，用它来限定集群中的Zookeeper服务器连接到Leader的时限。
3. syncLimit =5:LF 同步通信时限 集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit*tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer
4. dataDir:数据文件目录+数据持久化路径主要用于保存 Zookeeper 中的数据。 
5. clientPort =2181:客户端连接端口监听客户端连接的端口。

2.4 分布式安装部署

略 参考

2.4 客户端命令行操作

略  参考

3.zk内部原理

3.1 选举机制

➢ 半数机制:集群中半数以上机器存活，集群可用。所以 Zookeeper 适合安装奇数台 服务器。

➢ Zookeeper 虽然在配置文件中并没有指定 Master 和 Slave。但是，Zookeeper 工作时， 是有一个节点为 Leader，其他则为 Follower，Leader 是通过内部的选举机制临时产生的

➢ 以一个简单的例子来说明整个选举的过程

有五台服务器组成的 Zookeeper 集群，它们的 id 从 1-5，都是最新启动的，假设这些服务器依序启动

1. 服务器1启动，发起一次选举。服务器 1 投自己一票。此时服务器 1 票数一票，不够半数以上(3 票)，选举无法完成，服务器 1 状态保持为 LOOKING;
2. 服务器 2 启动，再发起一次选举。服务器 1 和 2 分别投自己一票并交换选票信息: 此时服务器 1 发现服务器 2 的 ID 比自己目前投票推举的(服务器 1)大，更改选票为推举 服务器 2。此时服务器1票数0票，服务器 2 票数2票，没有半数以上结果，选举无法完成，服务器 1，2 状态保持 LOOKING
3. 服务器 3 启动，发起一次选举。此时服务器 1 和 2 都会更改选票为服务器 3。此次投票结果:服务器1为 0 票，服务器 2 为0票，服务器3为3票。此时服务器 3 的票数已经超过半数，服务器 3 当选 Leader。服务器 1，2 更改状态为 FOLLOWING，服务器 3 更改 状态为 LEADING
4. 服务器 4 启动，发起一次选举。此时服务器 1，2，3 已经不是 LOOKING 状态， 不会更改选票信息。交换选票信息结果:服务器 3 为 3 票，服务器 4 为 1 票。此时服务器 4 服从多数，更改选票信息为服务器 3，并更改状态为 FOLLOWING;
5. 服务器 5 启动，同 4 一样当小弟

服务器上线后会优先投自己，如果没有结果会保持LOOKING状态，当有新的服务器加入会改票投最大的服务器ID，如此反复，知道选出LEADING

3.2 节点类型

3.2.1节点分类

持久(Persistent)：客户端和服务器端断开连接后，创建的节点不删除

短暂(Ephemeral)：客户端和服务器端断开连接后，创建的节点自己删除

3.2.2顺序标志

创建znode时设置顺序标识，znode名称 后会附加一个值，顺序号是一个单调递增的计数 器，由父节点维护

注意:在分布式系统中，顺序号可以被用于 为所有的事件进行全局排序，这样客户端可以通 过顺序号推断事件的顺序

3.2.3说明

1. 持久化目录节点 客户端与Zookeeper断开连接后，该节点依旧存在
2. 持久化顺序编号目录节点 客户端与Zookeeper断开连接后，该节点依旧存 在，只是Zookeeper给该节点名称进行顺序编号
3. 临时目录节点 客户端与Zookeeper断开连接后，该节点被删除
4. 临时顺序编号目录节点 客户端与Zookeeper断开连接后，该节点被删除，只是 Zookeeper给该节点名称进行顺序编号

3.3 Stat 结构体

1. czxid-创建节点的事务 zxid  : 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。 事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1小于 zxid2，那么 zxid1 在 zxid2 之前发生。
2. ctime - znode 被创建的毫秒数(从 1970 年开始)
3. mzxid - znode 最后更新的事务 zxid
4. mtime - znode 最后修改的毫秒数(从 1970 年开始)
5. pZxid-znode 最后更新的子节点 zxid
6. cversion - znode 子节点变化号，znode 子节点修改次数
7. dataversion - znode 数据变化号
8. aclVersion - znode 访问控制列表的变化号
9. ephemeralOwner- 如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节 点则是 0。
10. dataLength- znode 的数据长度
11. numChildren - znode 子节点数量

3.4 监听器原理

3.4.1监听原理详解:

➢ 首先要有一个main()线程

➢ 在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信(connet)，一个负责监听(listener)。

➢ 通过connect线程将注册的监听事件发送给Zookeeper

➢ 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中

➢ Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程

➢ listener线程内部调用了process()方法

3.4.2常用监听

➢ 监听节点数据的变化

get path [watch]

➢ 监听子节点增减的变化

ls path [watch]

4.5 写数据流程

当leader收到半数以上server成功信息，说明写操作可以执行

5.API 应用

5.1 创建 ZooKeeper 客户端

// 连接服务器
    @Before
    public void init() throws IOException {

        zkClient = new ZooKeeper(CONNECT_STRING, SESSION_TIMEOUT, new Watcher() {

            @Override
            public void process(WatchedEvent event) {
                // 监听逻辑在此处实现
                List<String> children = null;
                try {
                    children = zkClient.getChildren("/", true);

                    System.out.println("-------------start-------------");

                    children.stream().forEach(System.out::println);

                    System.out.println("-------------end-------------");

                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        });
    }

5.2 创建子节点

public void createNode() throws KeeperException, InterruptedException {

        //
        String path = zkClient.create("/zkTest", "zknode1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

        System.out.println(path);
    }

5.3 获取子节点并监听节点变化

 public void getDataAndWatch() throws InterruptedException, KeeperException {

        List<String> children = zkClient.getChildren("/", false);
        for (String child : children) {
            System.out.println(child);
        }

        Thread.sleep(Long.MAX_VALUE);
    }

5.4 判断 Znode 是否存在

 public void exist() throws KeeperException, InterruptedException {

        Stat stat = zkClient.exists("/zk1", false);
        System.out.println(stat == null ? "not exists" : "exists");
    }

代码参考

5.5 监听服务器节点动态上下线案例

5.5.1.需求

某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知 到主节点服务器的上下线

5.5.2代码实现

服务端参考    客户端参考