Zookeeper学习笔记一

于 2023-02-01 14:18:41 发布
阅读量534 收藏
点赞数 2
文章标签： zookeeper 学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wlw__/article/details/128833066
版权

Zookeeper 学习笔记 一

1.初始 Zookeeper

1.1 Zookeeper 概念

  1. Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务
  2. Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig(小 猪)的管理员。简称zk
  3. Zookeeper 是一个分布式的、开源的分布式应用程序的协调服务。
  4. Zookeeper 提供的主要功能包括：
    1. 配置管理
    2. 分布式锁
    3. 集群管理

2. Zookeeper 安装与配置

3.Zookeepwe 命令操作

3.1 Zookeeper 数据模型

  1. ZooKeeper 是一个树形目录服务,其数据模型和Unix的文件系统目录树很类似，拥有一个层次化结构。
  2. 这里面的每一个节点都被称为： ZNode，每个节点上都会保存自己的数据和节点信息。(有点像B树)
  3. 节点可以拥有子节点，同时也允许少量（1MB）数据存储在该节点之下。
  4. 节点可以分为四大类：
    1. PERSISTENT 持久化节点(默认)
    2. EPHEMERAL 临时节点 ：-e
    3. PERSISTENT_SEQUENTIAL 持久化顺序节点 ：-s
    4. EPHEMERAL_SEQUENTIAL 临时顺序节点 ：-es

3.2 Zookeeper 服务端常用命令

	启动 ZooKeeper 服务: ./zkServer.sh start
	查看 ZooKeeper 服务状态: ./zkServer.sh status
	停止 ZooKeeper 服务: ./zkServer.sh stop 
	重启 ZooKeeper 服务: ./zkServer.sh restart

3.3 Zookeeper 客户端常用命令

# 1.连接Zookeeper 服务端
	./zkCli.sh –server ip:port
# 2.断开连接
	quit
# 3.查看命令帮助
	help
# 4.显示指定目录下节点
	ls 目录
# 5.创建节点
	create /节点path value
# 6.获取节点值
	get /节点path
# 7.设置节点值
	set /节点path value
# 8.删除单个节点
	delete /节点path
# 9.删除带有子节点的节点
	deleteall /节点path
# 10.创建临时节点
	create -e /节点path value
# 11.创建顺序节点
	create -s /节点path value
# 12.查询节点详细信息
	ls -s /节点path

查询节点详细信息

  • czxid：节点被创建的事务ID

  • ctime: 创建时间

  • mzxid: 最后一次被更新的事务ID

  • mtime: 修改时间

  • pzxid：子节点列表最后一次被更新的事务ID

  • cversion：子节点的版本号

  • dataversion：数据版本号

  • aclversion：权限版本号

  • ephemeralOwner：用于临时节点，代表临时节点的事务ID，如果为持久节点则为0

  • dataLength：节点存储的数据的长度

  • numChildren：当前节点的子节点个数

4. Zookeeper JavaAPI 操作

4.1 Curator

Curator 介绍

  • Curator 是 Apache Zookeeper 的 Java 客户端库
  • 常见的Zookeeper Java API:
    • 原生 Java API
    • ZkClient
    • Curator
  • Curator 项目的目标是简化 Zookeeper 客户端的使用
  • Curator 最初是 Netfix 研发的,后来捐献了 Apache 基金会,目前是 Apache 的顶级项目
  • 官网：http://curator.apache.org/

4.2 Curator API 常用操作

4.2.1 建立连接

private  CuratorFramework client;
@Test
public void testConnext(){

        //重试策略
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000,10);
        /**
         * 1.连接字符串. zk server 地址和端口 "xxx.xxx.xxx.xxx:2181"
         * 2. 会话超时时间 单位ms
         * 3. 连接超时时间 单位ms
         * 4.重试策略
         */
            //1.第一种方式
//         client = CuratorFrameworkFactory.newClient("xxx.xxx.xxx.xxx:2181",
//                60 * 1000, 15 * 1000, retryPolicy);
    
        //2.第二种方式
        client = CuratorFrameworkFactory.builder().connectString("xxx.xxx.xxx.xxx:2181")
                .sessionTimeoutMs(60 * 1000)
                .connectionTimeoutMs(15 * 1000)
                .retryPolicy(retryPolicy).namespace("itheima").build();
        //开启连接
        client.start();
    }
//释放资源
@After
    public void close(){
        if(client != null){
            client.close();
        }
    }

4.2.2 添加节点

1.基本创建

 @Test
public void testCreate() throws Exception {
    //1.基本创建
    String path = client.create().forPath("/app2");
    System.out.println(path);
}

2.创建节点,带有数据

@Test
public void testCreate1() throws Exception {
    //2.创建节点,带有数据
    String path = client.create().forPath("/app2","hehe".getBytes());
    System.out.println(path);
}

3.设置节点类型

@Test
public void testCreate2() throws Exception {
    //3.设置节点的类型(临时节点)
    //默认类型: 持久化
    String path = client.create().withMode(CreateMode.EPHEMERAL).forPath("/appe1");
    System.out.println(path);
}

4.创建多级节点 /app1/p1

@Test
public void testCreate3() throws Exception {
    //4. 创建多级节点 /app1/p1
    //creatingParentsIfNeeded() 如果父节点不存在就创建
    String path = client.create().creatingParentsIfNeeded().forPath("/app4/p1");
    System.out.println(path);
}

4.2.3 删除节点

1.删除单个节点

@Test
public void  delete() throws Exception {
    client.delete().forPath("/app1");
}

2.删除带有子字节的节点

@Test
public void  delete1() throws Exception {
    client.delete().deletingChildrenIfNeeded().forPath("/app4");
}

3.强制删除

@Test
public void  delete2() throws Exception {
    client.delete().guaranteed().forPath("/app2");
}

4.回调

@Test
public void  delete3() throws Exception {
    client.delete().guaranteed().inBackground(new BackgroundCallback() {
        @Override
        public void processResult(CuratorFramework curatorFramework, CuratorEvent curatorEvent) throws Exception {
            System.out.println("我被删除了");
            System.out.println(curatorEvent);
        }
    }).forPath("/app2");
}

4.2.4 修改节点

1.修改数据

@Test
public void  testSet() throws Exception {
    client.setData().forPath("/app2","zz".getBytes());
}

2.根据版本修改

@Test
public void  testSet2() throws Exception {
    Stat status = new Stat();
    client.getData().storingStatIn(status).forPath("/app2");
    int version = status.getVersion();
    System.out.println(version);
    client.setData().withVersion(version).forPath("/app2","haha".getBytes());
}

4.2.5 查询节点

1.查询数据 : get

@Test
public void testCet1() throws Exception {
    //1.查询数据: get
    byte[] data = client.getData().forPath("/app1");
    System.out.println(new String(data));

}

2.查询子节点: ls

@Test
public void testCet2() throws Exception {
    //2.查询子节点: ls
    final List<String> path = client.getChildren().forPath("/");
    System.out.println(path);
}

3.查询节点状态信息: ls -s

@Test
public void testCet3() throws Exception {
    //3. 查询节点状态信息: ls -s
    Stat status = new Stat();
    System.out.println(status);
    client.getData().storingStatIn(status).forPath("/app1");
    System.out.println(status);
}

4.2.6 Watch事件监听

Curator API 常用操作 **- Watch ** 事件监听

  • ZooKeeper 允许用户在指定节点上注册一些Watcher，并且在一些特定事件触发的时候，ZooKeeper 服务端会将事件通知到感兴趣的客户端上去，该机制是 ZooKeeper 实现分布式协调服务的重要特性。

  • ZooKeeper 中引入了Watcher机制来实现了发布/订阅功能能，能够让多个订阅者同时监听某一个对象，当一个对象自身状态变化时，会通知所有订阅者。

  • ZooKeeper 原生支持通过注册Watcher来进行事件监听，但是其使用并不是特别方便需要开发人员自己反复注册Watcher，比较繁琐。

  • Curator引入了 Cache 来实现对 ZooKeeper 服务端事件的监听。

  • ZooKeeper提供了三种Watcher：

    • NodeCache : 只是监听某一个特定的节点

    • PathChildrenCache : 监控一个ZNode的子节点.

    • TreeCache : 可以监控整个树上的所有节点，类似于PathChildrenCache和NodeCache的组合

1.对某一个节点进行监听

 @Test
public void testNodeCache() throws Exception {
    //1. 创建NodeCache对象
    NodeCache nodeCache = new NodeCache(client, "/app2");
    //2.注册监听
    nodeCache.getListenable().addListener(new NodeCacheListener() {
        @Override
        public void nodeChanged() throws Exception {
            System.out.println("节点变化了~");

            final byte[] data = nodeCache.getCurrentData().getData();
            System.out.println(new String(data));
        }
    });
    //3.开启监听.如果设置为true,则开启监听是,加载数据
    nodeCache.start(true);
    while(true){

    }
}

2.监听一个ZNode的子节点

 @Test
public void testPathChildrenCache() throws Exception {
    //1.创建监听对象
    final PathChildrenCache pathChildrenCache = new PathChildrenCache(client, "/app2", true);
    //2.绑定监听器
    pathChildrenCache.getListenable().addListener(new PathChildrenCacheListener() {
        @Override
        public void childEvent(CuratorFramework curatorFramework, PathChildrenCacheEvent pathChildrenCacheEvent) throws Exception {
            System.out.println("子节点变化了");
            System.out.println(pathChildrenCacheEvent);
            //监听子节点的数据变更,并且拿到变更后的数据
            final PathChildrenCacheEvent.Type type = pathChildrenCacheEvent.getType();
            //2.判断类型是否是update
            if (type.equals(PathChildrenCacheEvent.Type.CHILD_UPDATED)){
                System.out.println("数据变了!!");
                final byte[] data = pathChildrenCacheEvent.getData().getData();
                System.out.println(new String(data));
            }
        }
    });
    pathChildrenCache.start();

    while(true){

    }
}

3.可以监控整个树上的所有节点，类似于PathChildrenCache和NodeCache的组合

 @Test
public void testTreeCache() throws Exception {
    //1.创建监听器
    TreeCache treeCache = new TreeCache(client,"/app2");
    //2.注册监听
    treeCache.getListenable().addListener(new TreeCacheListener() {
        @Override
        public void childEvent(CuratorFramework curatorFramework, TreeCacheEvent treeCacheEvent) throws Exception {
            System.out.println("节点发生改变了");
            System.out.println(treeCacheEvent);
        }
    });
    treeCache.start();

    while(true){

    }
}

4.3 分布式锁

1. 分布式锁

  • 在我们进行单机应用开发，涉及并发同步的时候，我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题，这时多线程的运行都是在同一个JVM之下，没有任何问题。

  • 但当我们的应用是分布式集群工作的情况下，属于多JVM下的工作环境，跨JVM之间已经无法通过多线程的锁解决同步问题。

  • 那么就需要一种更加高级的锁机制，来处理种跨机器的进程之间的数据同步问题——这就是分布式锁。

2.ZooKeeper* 分布式锁原理

  • 核心思想：当客户端要获取锁，则创建节点，使用完锁，则删除该节点。

  1. 客户端获取锁时，在lock节点下创建临时顺序节点。

  2. 然后获取lock下面的所有子节点，客户端获取到所有的子节点之后，如果发现自己创建的子节点序号最小，那么就认为该客户端获取到了锁。使用完锁后，将该节点删除。

  3. 如果发现自己创建的节点并非lock所有子节点中最小的，说明自己还没有获取到锁，此时客户端需要找到比自己小的那个节点，同时对其注册事件监听器，监听删除事件。

  4. 如果发现比自己小的那个节点被删除，则客户端的Watcher会收到相应通知，此时再次判断自己创建的节点是否是lock子节点中序号最小的，如果是则获取到了锁，如果不是则重复以上步骤继续获取到比自己小的一个节点 并注册监听。

4.4 模拟12306售票案例

Ticket12306

public class Ticket12306 implements Runnable{
    //数据库的票数
    private int tickets = 100;
    private InterProcessMutex lock;
    private CuratorFramework client;
    public Ticket12306(){
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000,10);
        client = CuratorFrameworkFactory.builder().connectString("xxx.xxx.xxx.xxx:2181")
                .sessionTimeoutMs(60 * 1000)
                .connectionTimeoutMs(15 * 1000)
                .retryPolicy(retryPolicy).build();
        //开启连接
        client.start();
        lock = new InterProcessMutex(client,"/lock");
    }
    @Override
    public void run() {
        while(true){
            //1. 获取锁
            try {
                lock.acquire(3, TimeUnit.SECONDS);
                if(tickets > 0){
                    System.out.println(Thread.currentThread() + " : " + tickets);
                    tickets--;
                }
            } catch (Exception e) {
                e.printStackTrace();
            }finally {
                try {
                    lock.release();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

LockTest

public class LockTest {
    public static void main(String[] args) {
        Ticket12306 ticket12306 = new Ticket12306();
        //创建客户端
        Thread t1 = new Thread(ticket12306, "携程");
        Thread t2 = new Thread(ticket12306, "飞猪");
        t1.start();
        t2.start();
    }
}

5.Zookeeper 集群 搭建

6. Zookeeper 核心理论

Zookeeper 集群角色

在ZooKeeper集群服中务中有三个角色：

  • Leader 领导者 ：

    1. 处理事务请求

    2. 集群内部各服务器的调度者

  • Follower 跟随者 ：

    1. 处理客户端非事务请求，转发事务请求给Leader服务器

    2. 参与Leader选举投票

  • Observer 观察者：

    1. 处理客户端非事务请求，转发事务请求给Leader服务器

7.问题

  1. zookeeper端口与Tomcat端口冲突需要改变用户端口
# 在zookeeper启动的时候，看打印信息显示会启动jetty，会使用到端口8080,如果安装了Tomcat就会发生冲突,导致Zookeeper 启动失败,所以要在配置文件zoo.cfg指定admin.serverPort=8089
  1. 防火墙问题
# 防火墙问题可能导致Java API 连接Zookeeper 连接超时,需要关闭防火墙 service iptables stop,我使用的阿里云服务器,还是把2181 端口放开

参考资料
黑马程序员Zookeeper

南来北往w
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper学习笔记(最全）
洛柒
11-30 1689
zookeeper学习笔记(最全） zookeeper解决并发问题——分布式锁
Zookeeper 基础学习
sekever的博客
05-07 364
最后，我们得出结论，ZK 提供分布式协同服务，解决出现在分布式系统中出现的一系列问题，它的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。作为dubbo的注册中心使用，每个服务器创建临时节点，里面存放可提供的服务，web网页作为客户端连接zookeeper，在需要时查找自己想要的服务，将服务器的IP、方法等信息存放到自己的缓存中。而且更重要的是，路径是我们可以自己定义的，这对于我们对有些有语意的对象的ID设置可以更加便于理解。...
ZooKeeper笔记超详细
weixin_46025900的博客
07-15 497
ZooKeeper入门级笔记超详细
Zookeeper 学习笔记 (详细)
黑桃
06-04 1390
Zookeeper 一、Zookeeper 入门(1) 概述(2) 特点(3) 数据结构(4) 应用场景(5) 下载地址二、Zookeeper 安装(1) 本地模式安装部署① 安装前准备② 配置修改③ 操作Zookeeper(2) 配置参数解读三、Zookeeper 内部原理 (待写)(1) 选举机制 (★)(2) 节点类型(3) Stat 结构体(4) 监听器原理 (★)(5) 写数据流程四、Zookeeper 实战 (★)???? 分布式安装部署(1) 配置服务器编号(2) 配置 zoo.cfg 文件(
学习笔记-zookeeper
u010230019的博客
10-22 678
zookeeper学习笔记
Zookeeper学习笔记
03-07
今晚上在上传学习笔记的时候，看了之前发布的文章，突然发现对于我上传的学习笔记是没有展示出来的，所以在这里对笔记进行重新的上传。不知道能不能上传成功！
zookeeper学习笔记
01-18
zookeeper学习笔记
Zookeeper学习笔记.pdf
09-10
ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：**分布式锁服务**。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：**...
Zookeeper学习笔记.docx
03-27
Zookeeper学习笔记
zookeeper学习笔记.pptx
04-16
本文适合但不限于软件开发人员阅读。本文档能够使阅读者对zookeeper有一个宏观且全面的了解，内容主要包含zookeeper架构、数据模型、读写及工作原理、典型应用场景、指令汇总等，
zookeeper学习文档
03-24
zookeeper学习资料，对学习分布式系统有很大的帮助~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Zookeeper资料整理
weixin_47557748的博客
07-03 361
zookeeper学习笔记记录
Zookeeper学习
weixin_44468025的博客
04-19 1567
Zookeeper简介 一、概述 1.Zookeeper是Yahoo（雅虎）开发后来贡献给了Apache的一套用于分布式管理和协调的框架 2.Zookeeper本身仿照Google的《The Chubby Lock》设计实现的 3.Zookeeper提供了中心化服务：包括：统一的配置，统一的命名，提供分布式锁，以及提供组服务 二、安装 1.单机模式：在一台机器上安装框架，往往只能启动框架的部分功能 2.伪分布式：也是在一台机器上安装框架，利用了多线程来模拟集群环境，能够启动框架大部分功能，甚至全部功能 3.
Zookeeper-全面详解（学习总结---从入门到深化）
12-07 1157
它们的第一个字母分别是 C、A、P。 这三个指标不可能同时做到。这个结论就叫做 CAP 定理。 一个应用程序，涉及多个进程协作时，`业务逻辑代码中混杂有大量复杂的进程协作逻辑。 因此，考虑将多进程协作的共性问题拎出，作为基础设施，让 RD 更加专注业务逻辑开发，即： 下载具体版本 修改配置文件 进入zookeeper的安装目录的conf目录 修改zoo.cfg 创建数据持久化目录 配置JDK环境 生效环境变量 启动zookeeper服务 查看Zoo
Zookeeper从入门到精通（全）
码农研究僧的博客
09-24 7535
前言 zookeeper分布式锁案例 算法Paxos解决一致性算法的问题 ZAB协议进一步解决一致性算法
zookeeper 资料
xyw10000
03-27 222
https://blog.csdn.net/mayp1/article/details/51871761 https://www.cnblogs.com/felixzh/p/5869212.html https://www.cnblogs.com/leesf456/p/6239578.html
zookeeper学习
最新发布
10-10
ZooKeeper 是一个分布式协调服务，用于管理和协调分布式系统的配置信息、命名空间、状态信息等。学习 ZooKeeper 可以帮助你理解分布式系统的原理和实现。 首先，你可以了解 ZooKeeper 的基本概念和架构。ZooKeeper ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值