Zookeeper框架精讲

1.zookeeper 入门

1.1 Zookeeper 概述

zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。

Zookeeper 从设计模式来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。

  1. 服务端启动时去注册信息(创建都是临时节点)
  2. 客户端获取到当前在线服务器列表,并注册监听
  3. 服务器某个节点下线
  4. 客户端收到服务器节点上下线通知
  5. 客户端:process(){重新再去获取服务器列表,并注册监听}

Zookeeper = 文件系统 + 通知机制

 1.2 Zookeeper 特点

  • Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
  • 集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务
  • 全局数据一致:每个 Server 保存一份相同的副本,Client 无论连接到哪个 Server,数据都是一致的。
  • 更新请求顺序进行,来自同一个 Client 的更新请求按其发送顺序依次执行。
  • 数据更新原子性,一次数据更新要么成功,要么失败。
  • 实时性,在一定时间范围内,Client 能读到最新数据。

1.3 数据结构

Zookeeper 数据模型的结构与 Unix 文件系统很类似,整体式可以看作是一棵树,每个节点称作一个 ZNode。每个 ZNode 默认能够存储 1MB 的数据,每个 ZNode 都可以通过其路径唯一标识

1.4 应用场景

提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

统一命名服务

在分布式环境下,经常需要对 应用/服务 进行统一命名,便于识别。

例如:IP 不容易记住,而域名容易记住。

统一配置管理

在分布式环境下,配置文件同步非常常见。

  • 一般要求一个集群中,所有节点的配置信息是一致的,比如 Kafka 集群。
  • 对配置文件修改后,希望能够快速同步到各个节点上。

配置管理可交由 Zookeeper 实现。

  • 可将配置信息写入 Zookeeper 上的一个 Znode。
  • 每个客户端服务监听这个 Znode。
  • 一旦 ZNode 中的数据被修改,Zookeeper 将通知各个客户端服务器。

统一集群管理

分布式环境中,实时掌握每个节点的状态是必要的。

  •  可根据节点实时状态做出一些调整。

Zookeeper 可以实现实时监控节点状态变化

  • 可将节点信息写入 Zookeeper 上的一个 ZNode。
  • 监听这个 ZNode 可获取它的实时状态变化。

服务器节点动态上下线

客户端能实时洞察到服务器上下线的变化

软负载均衡

在 Zookeeper 中记录每台服务器的访问数,让让问数最少的服务器去处理最新的客户端请求。

1.5 下载地址

Zookeeper的镜像文件地址:Index of /apache/zookeeper

注意:高版本的 zookeeper 必须要下载待 bin 的包(apache-zookeeper-xxx-bin.tar.gz),不带bin的包不能运行。

2.Zookeeper 安装

2.1 安装前准备

1.安装 jdk

2.拷贝 Zookeeper 安装包到 Linux 系统下

3.解压到指定目录

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/soft

4.重命名安装包为 zookeeper

mv apache-zookeeper-3.5.9-bin zookeeper

2.2 配置 Zookeeper

将 /usr/soft/zookeeper/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg;

mv zoo_sample.cfg zoo.cfg

打开 zoo.cfg,查看 dataDir 路径:

cat zoo.cfg

配置 admin.serverPort 参数

#8080端口防止被tomcat占用,修改端口
admin.serverPort=8888

查看发现如下内容:

dataDir=/tmp/zookeeper

在这个目录上创建 zookeeper 文件夹

cd /tmp
mkdir zookeeper

2.3 操作Zookeeper

启动 Zookeeper

bin/zkServer.sh start

查看状态

bin/zkServer.sh status

启动客户端

bin/zkCli.sh

退出客户端

quit

停止 Zookeeper

bin/zkServer.sh stop

2.3 配置参数解读

  • tickTime:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
  • initLimit:集群中的 Follower 与 Leader 之间初始连接时能容忍的最多心跳数(tickTime*initLimit),用它来限定集群中的Zookeeper服务器连接到Leader的时限。
  • syncLimit:集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。
  • dataDir:数据文件目录+数据持久化路径,主要用于保存Zookeeper中的数据。
  • clientPort :监听客户端连接的端口。

3.Zookeeper 内部原理

3.1 选举机制(面试重点)

1)半数机制:集群中半数以上机器存活,集群可用。所以 Zookeeper 适合安装奇数台服务器

2)Zookeeper 虽然在配置文件中并没有指定 Leader 和 Follower。但是,Zookeeper 工作时,是有一个节点为 Leader,其他则为 Follower,Leader 是通过内部的选举机制临时产生的。

3)以一个简单例子来说明整个选举过程

假设有5台服务器组成 Zookeeper 集群,他们的 id 从1-5,同时他们都是最新启动的,也就是没有历史数据,在存放数据量这一点上都是一样的。假设这些服务器依次启动,来看看会发生什么。

  1. 服务器1启动,给自己投票,然后发投票信息,此时只有它一台服务启动了,它发出去的报文没有响应,所以它的选举状态一直是 LOOKING 状态。
  2. 服务器2启动,给自己投票,同时与之前的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但是由于没有达到超过半数以上,所以两个服务器状态依然是 LOOKING。
  3. 服务器3启动,给自己投票,同时与之前的服务器1,2交换信息,由于服务器3的编号大所以服务器3胜出,此时投票数正好大于半数,所以服务器3称为领导者,服务1,2称为小弟。
  4. 服务器4启动,给自己投票,同时与之前的服务器1,2,3交换信息,尽管服务器4的编号大,但之前服务器3已经胜出,所以服务器4只能称为小弟。
  5. 服务器5启动,后面的逻辑同服务器4成为小弟。

3.2 节点类型

持久(Persistent):客户端和服务器断开连接后,创建的节点不删除,只是 Zookeeper 给该节点名称进行顺序编号

说明:创建 Znode 时设置顺序标识,znode 名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。

注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序。

短暂(Ephemeral):客户端和服务器断开连接后,创建的节点自己删除,只是 Zookeeper 给该节点名称进行顺序编号。

3.3 stat 结构体

  • cZxid - 创建节点的事务 zxid。每次修改 Zookeeper 状态都会受到一个 zxid 形式的时间戳,也就是 Zookeeper 事务 ID。事务 ID 是 Zookeeper 中所有修改总的次序。每个修改都有一个唯一的 zxid,如果 zxid1 小于 zxid2 ,那么 zxid1 在 zxid2 之前发生。
  • cTime - znode 被创建的毫秒数(从1970 年开始)
  • mZxid - 最后更新的事务 zxid
  • mTime - 最后修改的毫秒数(从1970 年开始)
  • pZixd - 最后更新的子节点 zxid
  • cVersion - znode 子节点变化号,znode 子节点修改次数
  • dataVersion - znode 数据变化号
  • aclVersion - znode 访问控制列表的变化号
  • ephemeralOwner - 如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点,则是 0
  • dataLength - znode 的数据长度
  • numChildren - znode 子节点的数量

3.4 监听器原理(面试重点)

监听器原理详解

  1. 首先要有一个 mian() 线程
  2. 在 main 线程中传戒 zookeeper 客户端,这是就会创建两个线程,一个负责网络通信(connect),一个负责监听(listener)
  3. 通过 connect 线程将注册的监听事件发送给 Zookeeper
  4. 在 Zookeeper 的注册监听器列表中将注册的监听事件添加到列表中。
  5. Zookeeper 监听到有数据变化或路径变化,就会将消息发送给 listener 线程
  6. listener 线程内部调用了 process() 方法。

常见的监听

  1. 监听节点数据的变化 get [-w] path
  2. 监听子节点增减的变化 ls [-w] path

3.5 写数据流程

  1. Client 向 Zookeeper 的 Server1 上写数据,发送一个写请求。
  2. 如果 server1 不是 Leader,那么 Serve1 会把接受到的请求进一步转发给 Leader,因为 每个 Zookeeper 的 server 里面有一个是 Leader。这个 Leader 会将写请求广播给各个 Server,比如 Server1 和 Server2,各个 Server 写成功后会通知 Leader。
  3. 当 Leader 收到 大多数(大于一半)server 数据写成功了,那么就说明数据写成功了。如果这里三个节点的话,只要有两个节点数据写成功了,那么就认为数据写成功了。写成功之后,Leader会告诉 Server1 数据写成功了。
  4. Server1 会进一步通知 Client 数据写成功了,这时就认为整个操作成功。

4.Zookeeper 实战(开发重点)

4.1 分布式安装部署

安装 Zookeeper

需要3个虚拟机,分别在3个虚拟机上按照【2.Zookeeper 安装】,将 Zookeeper 安装。

配置服务器编号

在服务器的 /tmp/zookeeper(配置文件的 dataDir)下创建 myid 文件

touch myid

 编辑 myid 文件

vim myid

在文件中添加对应的编号:

1

另外两台机器也是依次创建 myid 文件,并编辑文件内容为 2,3。 

配置 zoo.cfg文件

三台服务分别查看本机 IP 地址:

ifconfig

ens32 标签里面的 inet 就是本机 IP,如下图

在 zoo.cfg 文件末尾增加如下配置:

server.1=192.168.65.128:2888:3888
server.2=192.168.65.129:2888:3888
server.3=192.168.65.130:2888:3888

 配置参数解读    server.A=B:C:D

  • A 是一个数字,表示这个是第几个服务器

集群模式下配置一个myid文件,这个文件在 dataDir 目录下,这个文件里面有一个数据就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个server

  • B 是这个服务器的IP地址
  • C 是这个服务器的集群中的 Leader 服务器交换信息的端口
  • D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来选举时服务器互相通信的端口

集群操作

分别启动 Zookeeper

bin/zkServer.sh start

查看状态

bin/zkServer.sh status

4.2 客户端命令行操作

命令基本语法功能描述
ls [-w] path使用 ls 命令来查看当前 znode 中所包含的内容
ls2 [-w] path查看当前节点数据并能看到更新次数等数据
create

普通创建

-s 含有序列

-e 临时(重启或超时时消失)

get path [watch]获得节点的值
set设置节点的值
stat查看节点状态
delete删除节点
deleteall递归删除节点

 1.启动客户端

bin/zkCli.sh 

2.查看当前 znode 中所包含的内容

ls /

3.查看当前节点详细数据

ls2 /

4.创建两个普通的节点

create /sanguo "jinlian"
create /sanguo/shuguo "liubei"

5.获得节点的值

get /sanguo/shuguo

6.创建短暂节点

create -e /sanguo/wuguo "zouyu"

    1)在当前客户端能看到 ls/sanguo

[zk: localhost:2181(CONNECTED) 15] ls /sanguo
[shuguo, wuguo] 

    2)退出当前客户端在重启客户端

quit

bin/zkCli.sh 

    3)再次查看短暂节点已经删除

[zk: localhost:2181(CONNECTED) 1] ls /sanguo
[shuguo] 

7.创建带序号的节点

    1)先创建一个普通的根节点 /sanguo/weiguo

create /sanguo/weiguo "caocao"

 

     2)创建带序号的节点

create -s /sanguo/weiguo/xiaoqiao "jinlian"
create -s /sanguo/weiguo/daqiao "jinlian"
create -s /sanguo/weiguo/diaocan "jinlian"

  如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有2个节点,则在排序时从2开始,依次类推。

8.修改节点的值

set /sanguo/weiguo "simayi"

9.节点值变化监听

 在 第一台服务器上注册监听 /weiguo 节点数据变化

get -w /sanguo/weiguo

在第二台服务器上修改 /sanguo/weiguo 节点的数据

set /sanguo/weiguo "caocao"

观察第一台机器上收到数据变化的监听,如下图

注意:每次注册监听,只能监听一次,监听到变化后,监听就会失败,需要重新注册才能再次监听。 

10.节点的子节点变化监听(路径变化)

在 第一台服务器上注册监听 /sanguo 节点的子节点变化

ls -w /sanguo

在第二台服务器上 /sanguo 节点创建子节点

create /sanguo/jin "simayi"

观察第一台服务器上收到子节点变化的监听

注意:每次注册监听,只能监听一次,监听到变化后,监听就会失败,需要重新注册才能再次监听。

11.删除节点

delete /sanguo/shuguo

12.查看节点状态

stat /sanguo

13. 递归删除

deleteall /sanguo

4.3 API 应用

4.3.1 开发环境搭建

开发使用的是 idea,创建一个java工程,并配置 Maven 依赖

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.5.9</version>
        </dependency>

因为我使用的是 3.5.9 的服务器,所以引入了 3.5.9 的依赖 

4.3.2 创建 Zookeeper 客户端

    public static void main(String[] args) throws Exception {
        String HOST = "192.168.65.128:2181,192.168.65.129:2181,192.168.65.130:2181";
        CountDownLatch countDownLatch = new CountDownLatch(1);
        //初始化
        ZooKeeper zkClient = new ZooKeeper(HOST, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState() == Event.KeeperState.SyncConnected) {
                    System.out.println("Watch received event");
                    //直到等待连接成功
                    countDownLatch.countDown();
                }
            }
        });
        //阻塞,等待连接
        countDownLatch.await();
        System.out.println("zookeeper connection success");
    }

HOST 为 zookeeper 服务器的各个IP 和 客户端端口,使用【英文逗号】连接 

4.3.3 创建子节点

    public static void main(String[] args) throws Exception {
        String HOST = "192.168.65.128:2181,192.168.65.129:2181,192.168.65.130:2181";
        CountDownLatch countDownLatch = new CountDownLatch(1);
        //初始化
        ZooKeeper zkClient = new ZooKeeper(HOST, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState() == Event.KeeperState.SyncConnected) {
                    System.out.println("Watch received event");
                    //直到等待连接成功
                    countDownLatch.countDown();
                }
            }
        });
        //阻塞,等待连接
        countDownLatch.await();
        System.out.println("zookeeper connection success");

        //创建节点
        String path = zkClient.create("/jc", "hello,world".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println(path);
    }

4.3.4 获取子节点并监听节点变化

    public static void main(String[] args) throws Exception {
        String HOST = "192.168.65.128:2181,192.168.65.129:2181,192.168.65.130:2181";
        CountDownLatch countDownLatch = new CountDownLatch(1);
        //初始化
        ZooKeeper zkClient = new ZooKeeper(HOST, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState() == Event.KeeperState.SyncConnected) {
                    System.out.println("Watch received event");
                    //直到等待连接成功
                    countDownLatch.countDown();
                }
                if (event.getType() == Event.EventType.NodeChildrenChanged) {
                    System.out.println("------------------子节点发送改变------------------");
                }
            }
        });
        //阻塞,等待连接
        countDownLatch.await();
        System.out.println("zookeeper connection success");

        //创建节点
//        String path = zkClient.create("/jc", "hello,world".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
//        System.out.println(path);

        //获取子节点并监控数据变化
        List<String> list = zkClient.getChildren("/",true);
        for (String child : list) {
            System.out.println(child);
        }
        //若不加阻塞的话,main 就直接退出了!
        Thread.sleep(Integer.MAX_VALUE);
    }

注意, Watcher 回调在第一次监测到 子节点改变后,在改变子节点,不会再进入回调。

4.3.4 判断 znode 是否存在

        //节点是否存在
        Stat stat = zkClient.exists("/jc1",false);
        System.out.println(stat);

当stat 不为null 时就表示节点存在,为 null 时表示节点不存在

4.4 监听服务器节点动态上下线案例

4.4.1 案例分析

某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。

分析:

  1. 服务器端启动时去注册信息(创建的都是临时节点)
  2. 启动就去 getChildren,获取到当前在线服务器列表,并且注册监听
  3. 服务器节点下线
  4. 服务器节点上下线事件通知
  5. process() { 重新再去获取服务器列表,并注册监听 }  

以上需求中有三个模块:Zookeeper集群(无须实现)、服务器列表(往Zookeeper写数据)、客户端列表(从Zookeeper读数据)

注意:在运行案例前,需要先在 zookeeper 集群先创建一个 /servers 节点

4.4.2  实现代码

服务器端代码

public class Server {
    private static final String HOST = "192.168.65.128:2181,192.168.65.129:2181,192.168.65.130:2181";
    private ZooKeeper zooKeeper;
    CountDownLatch countDownLatch = new CountDownLatch(1);

    /**
     * 获取连接
     */
    private void getConnection() throws IOException, InterruptedException {
        zooKeeper = new ZooKeeper(HOST, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState() == Event.KeeperState.SyncConnected) {
                    System.out.println("Watch received event");
                    //直到等待连接成功,释放阻塞
                    countDownLatch.countDown();
                }
            }
        });
        countDownLatch.await();
    }

    /**
     * 向 Zookeeper 集群注册服务器信息
     * @param hostname
     */
    private void register(String hostname) throws KeeperException, InterruptedException {
        String path = zooKeeper.create("/servers/server", hostname.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        System.out.println("服务器 - " + hostname + "【"+path+"】上线成功。");
    }

    /**
     * 业务处理
     */
    private void business() throws InterruptedException {
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {
        Server server = new Server();
        //获取连接
        server.getConnection();
        //注册
        server.register(args[0]);
        //业务处理
        server.business();
    }
}

客户端代码

public class Client {
    private static final String HOST = "192.168.65.128:2181,192.168.65.129:2181,192.168.65.130:2181";
    private ZooKeeper zooKeeper;
    CountDownLatch countDownLatch = new CountDownLatch(1);

    /**
     * 获取连接
     */
    private void getConnection() throws IOException, InterruptedException {
        zooKeeper = new ZooKeeper(HOST, 2000, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState() == Event.KeeperState.SyncConnected) {
                    System.out.println("Watch received event");
                    //直到等待连接成功,释放阻塞
                    countDownLatch.countDown();
                }
                if (event.getType() == Event.EventType.NodeChildrenChanged) {
                    getChildren();
                }
            }
        });
        countDownLatch.await();
    }

    /**
     * 从 Zookeeper 集群获取在线服务器信息
     */
    private void getChildren() {
        try {
            List<String> list = zooKeeper.getChildren("/servers", true);
            List<String> hosts = new ArrayList<>();
            for (String child : list) {
                byte[] data = zooKeeper.getData("/servers/" + child, false, null);
                if (data != null) {
                    hosts.add(new String(data));
                }
            }
            System.out.println("**********************在线服务器列表**********************");
            System.out.println(hosts);
            System.out.println();
            System.out.println();
        }catch (Exception e) {
            System.out.println(e);
        }
    }

    /**
     * 业务处理
     */
    private void business() throws InterruptedException {
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {
        Client client = new Client();
        //获取连接
        client.getConnection();
        //注册
        client.getChildren();
        //业务处理
        client.business();
    }
}
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值