Zookeeper学习

最新推荐文章于 2024-11-10 12:01:54 发布

DYG.Satan

最新推荐文章于 2024-11-10 12:01:54 发布

阅读量156

点赞数

分类专栏： zookeeper 文章标签： zookeeper

本文链接：https://blog.csdn.net/satandyg/article/details/113924025

版权

zookeeper 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. Zookeeper入门

1.1 概述

Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的Apache项目.
在这里插入图片描述

1.2 特点

在这里插入图片描述

Zookeeper: 一个领导者(Leader),多个跟随者(Follower)组成的集群.
集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务.
全局数据一致: 每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的.
更新请求顺序进行, 来自同一个Client的更新请求按其发送顺序依次执行.
数据更新的原子性, 一次数据更新要么成功,要么失败.
实时性,在一定时间范围内,Client能读到最新的数据.

1.3 Zookeeper的数据结构

Zookeeper数据模型的结果与Unix文件系统很类似,整体上可以看做是一颗树,每个节点称作一个ZNode. 每一个ZNode默认能存储1MB的数据,每个ZNode都可以通过其路径唯一标识.
在这里插入图片描述

1.4 应用场景

Zookeeper是一个经典的分布式数据一致性解决方案,致力于为分布式应用提供一个高性能,高可用,且具有严格顺序访问控制能力的分布式协调存储服务.
提供的服务包括: 统一命名服务, 统一配置管理, 统一集群管理, 服务器节点动态上下线, 软负载均衡,分布式锁服务等.
统一命名服务
在这里插入图片描述
统一配置管理

统一集群管理

服务器动态上下线
在这里插入图片描述
软负载均衡
在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求.

1.5 下载地址

官网首页
https://zookeeper.apache.org/
下载地址
https://zookeeper.apache.org/releases.html#download

2. Zookeeper安装

2.1 云服务安装部署

1. 安装前准备
  (1) 安装jdk
  (2) 将Zookeeper安装包上传到Linux系统下
  (3) 解压到指定目录

tar -zxvf zookeeper-3.4.9.tar.gz -C /opt/module/

2. 配置修改
(1) 将/opt/module/zookeeper-3.4.9/conf 这个路径下的zoo_sample.cfg重命名为zoo.cfg.

mv zoo_sample.cfg zoo.cfg

(2) 打开zoo.cfg文件,修改dataDir路径

 vim zoo.cfg

修改内容如下:
dataDir=/opt/module/zookeeper-3.4.9/zkData

(3) 在/opt/module/zookeeper-3.4.9/这个目录下创建zkData文件夹

 mkdir zkData

3. 操作Zookeeper

(1) 启动Zookeeper

bin/zkServer.sh start

(2) 查看进程是否启动

jps

(3) 查看状态

bin/zkServer.sh status

(4) 启动客户端

bin/zkCli.sh

(5) 退出客户端

quit

(6) 退出Zookeeper服务

 bin/zkServer.sh stop

2.2 配置参数解读

配置文件如下:

# The number of milliseconds of each tick
tickTime=2000  
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/module/zookeeper-3.4.9/zkData
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

Zookeeper中的配置文件zoo.cfg中参数含义解读如下:

tickTime=2000: 通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒.
Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间会发送一个心跳.
它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间.
initLimit=10: LF初始通信时限
集群中的Follower(跟随者)服务器与Leader(领导者)服务器之间初始连接时能容忍的最多心跳数,用它来限定集群中的Follower服务器连接到Leader服务器的时限.(这里是10*2,也就是20秒)
syncLimit=5: LF同步通信时限
集群中的Follower服务器与Leader服务器之间的最大响应时间单位,假如响应超过syncLimit*tickTime(10秒),Leader认为Follower挂掉,从服务器列表中删除Follower.
dataDir:数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据.
clientPort=2181:客户端连接端口
监听客户端连接端口.

3. Zookeeper内部原理

3.1 选举机制

半数机制:集群中半数以上的服务器存活,集群可用.所以Zookeeper适合安装奇数台服务器.
Zookeeper虽然在配置文件中并没有指定Master和Slave.但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部选举机制临时产生的.
以一个简单的例子来说明整个选举过程.
假设有五台服务器组成的Zookeeper集群,他们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上是一样的.假设这些服务器依次启动,来看看会发生什么:
服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
服务器5启动，后面的逻辑同服务器4成为小弟。

3.2 节点类型

节点类型

短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除.
持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除

Znode有四种形式的目录节点（默认是persistent ）

持久化目录节点（PERSISTENT）客户端与zookeeper断开连接后，该节点依旧存在
持久化顺序编号目录节点(PERSISTENT_SEQUENTIAL) 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
临时目录节点（EPHEMERAL）客户端与zookeeper断开连接后，该节点被删除
临时顺序编号目录节点（EPHEMERAL_SEQUENTIAL）客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

在这里插入图片描述
创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

3.3 Stat结构体

[zk: localhost:2181(CONNECTED) 1] get /

cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x6
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

1)czxid- 引起这个znode创建的zxid，创建节点的事务的zxid

2)ctime - znode被创建的毫秒数(从1970年开始)

3)mzxid - znode最后更新的zxid

4)mtime - znode最后修改的毫秒数(从1970年开始)

5)pZxid-znode最后更新的子节点zxid

6)cversion - znode子节点变化号，znode子节点修改次数

7)dataversion - znode数据变化号

8)aclVersion - znode访问控制列表的变化号

9)ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0

10)dataLength- znode的数据长度

11)numChildren - znode子节点数量

3.4 监听器原理(面试重点)

监听器原理分析
1. 首先需要一个main 主线程
2. 在main线程中创建一个zookeeper客户端，这时候就会创建两个线程，一个负责网络链接通信（connect），一个负责监听（listener）
3. 通过connect线程将注册的监听事件发给zookeeper
4. 在zookeeper的注册监听器列表中将注册的监听事件添加到列表中
5. zookeeper监听到有数据或路径变化，就会将这个消息发送给listener 线程
6. listener 线程内部调用了process() 方法
在这里插入图片描述
常用的监听

监听节点数据变化
```
get path [watch]
```
监听子节点增减变化
```
ls path [watch]
```

3.5 写数据流程

在这里插入图片描述

4. Zookeeper实战(开发重点)

4.1 分布式安装部署

https://www.cnblogs.com/ysocean/p/9860529.html

4.2 客户端命令行操作

https://blog.csdn.net/u012387141/article/details/105387838/
在这里插入图片描述

4.3 API应用

4.3.1 IDEA环境搭建

创建一个Maven工程

添加pom依赖

    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.4.6</version>
    </dependency>
    
	<dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>

拷贝log4j.properties文件到项目根目录
需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.3.2 创建Zookeeper客户端

package com.newland;

import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;

/**
 * @author 张宝奎
 * @date 2021/2/22
 */
public class ZkClientTest {
    private String connectString = "192.168.44.128:2181,192.168.44.128:2182,192.168.44.128:2183";
    private int sessionTimeout = 20000;
    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {
        zkClient= new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            当Server端口的Node发生改变那么Server就会将该事件通知Client，那么Client就会调用此方法
            public void process(WatchedEvent watchedEvent) {
                //在此方法中写收到监听事件后需要做的操作
                List<String> children = null;
                try {
                    System.out.println("=============start=============");
                    children = zkClient.getChildren("/new", true);

                for (String child : children) {
                    //输出子节点信息
                    System.out.println(child);
                }
                    System.out.println("=============end===============");
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        });
    }
    @After
    public void after() throws InterruptedException {
        zkClient.close();
    }

    //创建节点
    @Test
    public void createNode() throws KeeperException, InterruptedException {
        /**
         * 参数1: 节点路径
         * 参数2: 节点数据
         * 参数3: 访问控制权限
         * 参数4: 目录节点的类型
         */
        String path = zkClient.create("/new", "jack".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println(path);
    }

    /**
     * 获取子节点并监听
     */
    @Test
    public void test2() throws KeeperException, InterruptedException {
        /*
         getChildren(final String path, Watcher watcher)
         第一个参数：节点路径
         第二个参数：监听器对象
         */
        List<String> children = zkClient.getChildren("/new", true);

        for (String child : children) {
            //输出子节点信息
            System.out.println(child);
        }

        //不能让主线程死掉，监听线程需要一直运行
        Thread.sleep(Long.MAX_VALUE);

    }


    /**
     * 查看节点状态 - 判断节点是否存在
     */
    @Test
    public void test3() throws KeeperException, InterruptedException {
        /*
            exists(String path, boolean watch)
            第一个参数 ：节点的路径
            第二个参数 ： 是否使用总监听对象（new Zookeeper时创建的监听对象）
                不用监听。
            注意：如果返回值为null则表示节点不存在
         */
        Stat exists = zkClient.exists("/nl", false);

        if (exists == null){
            System.out.println("节点不存在");
        }else {
            System.out.println("节点存在");
        }

    }

}