Zookeeper学习笔记

莫得感情的干饭人

于 2022-12-03 17:04:03 发布

阅读量778

点赞数

文章标签： java-zookeeper zookeeper 学习

本文链接：https://blog.csdn.net/m0_51233004/article/details/128160765

版权

文章目录

一、Zookeeper相关概念
二、选举机制
三、节点类型
四、监听器原理
五、写数据流程
六、服务器上下线动态监听案例
七、原生Zookeeper分布式锁
八、Curator 框架实现分布式锁案例

一、Zookeeper相关概念

从设计模式角度理解：zookeeper是基于观察者模式设计的分布式管理框架，管理和存储大家关心的数据，接受服务端和客户端(观察者)的注册，一旦数据发生变化，zookeeper就会通知观察者做出相应的反应。

特点

一个领导者(leader)，多个追随者(follower)组成的集群

集群中只要有半数以上的节点存活，zookeeper集群就能正常服务，所以zookeeper适合安装奇数台服务器

全局数据一致：每个server保存一份相同的数据副本，保证数据一致性

更新请求顺序执行：来自同一个client发送的更新请按其发送顺序依次执行

数据更新原子性：一次数据更新操作要么成功，要么失败

应用场景
提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

配置参数

tickTime=2000   #通信心跳时间，zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    # LF初始通信时限  Leader和Follower初始连接时能容忍的最多心跳数
syncLimit=5    # LF同步通信时限  Leader和Follower之间通信时间如果超过syncLimit * tickTime，leader则认为follower死亡，从服务器列表中删除Follower。
dataDir       # 保存Zookeeper中的数据
clientPort-=2181   #客户端连接端口，通常不做修改

二、选举机制

第一次启动
在这里插入图片描述

服务器1启动，发起一次选举。服务器1投自己一票，此时服务器1选票数一票，不够半数以上(3票)，选举无法完成，服务器1锁定为LOOKING状态。
服务器2启动，发起一次选举。服务器1和服务器2分别投自己一票并交换选票信息：此时服务器1发现服务器2的SID比自己目前投票选举(服务器1)的SID大，则更改选票为推举服务器2。此时，服务器1选票0票，服务器2选票2票，没有半数以上结果，无法完成选举，服务器1和服务器2锁定为LOOKING状态。
服务器3启动，发起一次选票。选票机制和上一步骤相同，此时服务器1选票0票，服务器2选票0票，服务器3选票3票，达到半数以上，服务器3当选为Leader。服务器1和服务器2更改状态为follower。
服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为follower。
服务器5启动，同服务器4一样为follower。

非第一次启动
在这里插入图片描述
Leader服务器出现故障，选举机制： Epoch > ZXID > SID

三、节点类型

持久： 客户端和服务器端断开连接之后，创建的节点不删除
短暂： 客户端和服务器端断开连接之后，创建的节点也会随之删除
有无序号： 有序号时，创建znode时设置顺序标识，znode名称后面会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。在分布式系统中，顺序号可以为所有事件进行排序，这样客户端可以通过顺序号推断事件的先后顺序。

四、监听器原理

客户端注册监听它关心的目录节点，当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时，zookeeper会通知客户端。监听机制保证zookeeper保存的数据发生的任何改变都能够及时响应到监听该节点的客户端。

监听原理详解

首先有个主线程
在主线程中创建zookeeper客户端，此时就会创建两个子线程，一个负责网络连接通信(connect)，另一个负责监听(listener)。
通过connect线程将注册的监听事件发送给zookeeper。
在zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
zookeeper监听到有数据或路径发生变化时，会将这个消息发送给listener线程。
listener线程内部调用process()方法。

注意：注册一次，只能监听到一次变化。想要一直监听，就会注册多次。

五、写数据流程

写入请求直接发送给Leader服务器
在这里插入图片描述
leader服务器将写入请求分发给各个follower服务器，follower服务器接收请求并写入成功之后，返回确认消息给Leader服务器，当半数以上follower服务器写入成功之后，leader服务器返回确认消息给客户端，剩下的follower服务器继续执行写入操作。

写入请求发送给follower服务器
在这里插入图片描述
follower服务器将写入请求发送给leader服务器，leader服务器将写入操作通知到各个follewer服务器，各个follower写入操作执行成功之后，返回确认消息给leader服务器，半数以上follower服务器写入成功之后，leader服务器返回确认消息给那个follower服务器，follower服务器再返回确认消息给客户端。

六、服务器上下线动态监听案例

在这里插入图片描述
思路： 在zookeeper服务器创建持久性节点 /servers，各个服务器端在该节点加注册临时子节点(服务端断开连接，节点会自己删除)，子节点名可以为服务器的名称，存储数据可以为对应ip地址。客户端注册监听 /servers节点，当监听节点发生变化时，通知给客户端，listener监听器会执行process()方法，一般process()方法中会再次注册监听，以便能监听到后续发生的变化。

服务端：

public class DistributeServer {
   

    private String connectString = "redis100:2181,redis101:2181,centos:2181";
    private int sessionTimeout = 2000;
    private ZooKeeper zooKeeper;


    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
   
        // 获取客户端连接
        DistributeServer server = new DistributeServer();
        server.getConnection();

        // 服务器注册(创建临时节点, 节点保存的是主机名/ip地址)
        server.registry(args[0]);

        // 服务器运行, 处理自己的业务逻辑(睡眠)
        server.business(args[0]);

    }


    // 服务器自己的业务逻辑
    private void business(String hostname) throws InterruptedException {
   
        System.out.println(hostname + " is working");

        Thread.sleep(Long.MAX_VALUE);
    }


    // 服务器注册(创建临时节点)
    private void registry(String hostname) throws InterruptedException, KeeperException {
   
        String createNode = zooKeeper.create("/servers/" + hostname, hostname.getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

        System.out.println(hostname + "is online " + createNode);
    }


    // 获取客户端连接
    private void getConnection() throws IOException {
   
        zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
   
            public void process(WatchedEvent watchedEvent) {
   

            }