Zookeeper学习笔记一

最新推荐文章于 2024-08-22 19:51:16 发布
最新推荐文章于 2024-08-22 19:51:16 发布
阅读量810 收藏
点赞数 2
文章标签： zookeeper 学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wlw__/article/details/128833066
版权
本文介绍了Zookeeper的基础知识，包括它的概念、安装配置步骤、命令行操作，以及通过JavaAPI进行节点操作、实现分布式锁和模拟12306售票案例。此外，还讨论了Zookeeper的集群搭建和核心理论。
摘要由CSDN通过智能技术生成

Zookeeper 学习笔记 一

1.初始 Zookeeper

1.1 Zookeeper 概念

  1. Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务
  2. Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig(小 猪)的管理员。简称zk
  3. Zookeeper 是一个分布式的、开源的分布式应用程序的协调服务。
  4. Zookeeper 提供的主要功能包括：
    1. 配置管理
    2. 分布式锁
    3. 集群管理

2. Zookeeper 安装与配置

3.Zookeepwe 命令操作

3.1 Zookeeper 数据模型

  1. ZooKeeper 是一个树形目录服务,其数据模型和Unix的文件系统目录树很类似，拥有一个层次化结构。
  2. 这里面的每一个节点都被称为： ZNode，每个节点上都会保存自己的数据和节点信息。(有点像B树)
  3. 节点可以拥有子节点，同时也允许少量（1MB）数据存储在该节点之下。
  4. 节点可以分为四大类：
    1. PERSISTENT 持久化节点(默认)
    2. EPHEMERAL 临时节点 ：-e
    3. PERSISTENT_SEQUENTIAL 持久化顺序节点 ：-s
    4. EPHEMERAL_SEQUENTIAL 临时顺序节点 ：-es

3.2 Zookeeper 服务端常用命令

	启动 ZooKeeper 服务: ./zkServer.sh start
	查看 ZooKeeper 服务状态: ./zkServer.sh status
	停止 ZooKeeper 服务: ./zkServer.sh stop 
	重启 ZooKeeper 服务: ./zkServer.sh restart

3.3 Zookeeper 客户端常用命令

# 1.连接Zookeeper 服务端
	./zkCli.sh –server ip:port
# 2.断开连接
	quit
# 3.查看命令帮助
	help
# 4.显示指定目录下节点
	ls 目录
# 5.创建节点
	create /节点path value
# 6.获取节点值
	get /节点path
# 7.设置节点值
	set /节点path value
# 8.删除单个节点
	delete /节点path
# 9.删除带有子节点的节点
	deleteall /节点path
# 10.创建临时节点
	create -e /节点path value
# 11.创建顺序节点
	create -s /节点path value
# 12.查询节点详细信息
	ls -s /节点path

查询节点详细信息

  • czxid：节点被创建的事务ID

  • ctime: 创建时间

  • mzxid: 最后一次被更新的事务ID

  • mtime: 修改时间

  • pzxid：子节点列表最后一次被更新的事务ID

  • cversion：子节点的版本号

  • dataversion：数据版本号

  • aclversion：权限版本号

  • ephemeralOwner：用于临时节点，代表临时节点的事务ID，如果为持久节点则为0

  • dataLength：节点存储的数据的长度

  • numChildren：当前节点的子节点个数

4. Zookeeper JavaAPI 操作

4.1 Curator

Curator 介绍

  • Curator 是 Apache Zookeeper 的 Java 客户端库
  • 常见的Zookeeper Java API:
    • 原生 Java API
    • ZkClient
    • Curator
  • Curator 项目的目标是简化 Zookeeper 客户端的使用
  • Curator 最初是 Netfix 研发的,后来捐献了 Apache 基金会,目前是 Apache 的顶级项目
  • 官网：http://curator.apache.org/

4.2 Curator API 常用操作

4.2.1 建立连接

private  CuratorFramework client;
@Test
public void testConnext(){

        //重试策略
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000,10);
        /**
         * 1.连接字符串. zk server 地址和端口 "xxx.xxx.xxx.xxx:2181"
         * 2. 会话超时时间 单位ms
         * 3. 连接超时时间 单位ms
         * 4.重试策略
         */
            //1.第一种方式
//         client = CuratorFrameworkFactory.newClient("xxx.xxx.xxx.xxx:2181",
//                60 * 1000, 15 * 1000, retryPolicy);
    
        //2.第二种方式
        client = CuratorFrameworkFactory.builder().connectString("xxx.xxx.xxx.xxx:2181")
                .sessionTimeoutMs(60 * 1000)
                .connectionTimeoutMs(15 * 1000)
                .retryPolicy(retryPolicy).namespace("itheima").build();
        //开启连接
        client.start();
    }
//释放资源
@After
    public void close(){
        if(client != null){
            client.close();
        }
    }

4.2.2 添加节点

1.基本创建

 @Test
public void testCreate() throws Exception {
    //1.基本创建
    String path = client.create().forPath("/app2");
    System.out.println(path);
}

2.创建节点,带有数据

@Test
public void testCreate1() throws Exception {
    //2.创建节点,带有数据
    String path = client.create().forPath("/app2","hehe".getBytes());
    System.out.println(path);
}

3.设置节点类型

@Test
public void testCreate2() throws Exception {
    //3.设置节点的类型(临时节点)
    //默认类型: 持久化
    String path = client.create().withMode(CreateMode.EPHEMERAL).forPath("/appe1");
    System.out.println(path);
}

4.创建多级节点 /app1/p1

@Test
public void testCreate3() throws Exception {
    //4. 创建多级节点 /app1/p1
    //creatingParentsIfNeeded() 如果父节点不存在就创建
    String path = client.create().creatingParentsIfNeeded().forPath("/app4/p1");
    System.out.println(path);
}

4.2.3 删除节点

1.删除单个节点

@Test
public void  delete() throws Exception {
    client.delete().forPath("/app1");
}

2.删除带有子字节的节点

@Test
public void  delete1() throws Exception {
    client.delete().deletingChildrenIfNeeded().forPath("/app4");
}

3.强制删除

@Test
public void  delete2() throws Exception {
    client.delete().guaranteed().forPath("/app2");
}

4.回调

@Test
public void  delete3() throws Exception {
    client.delete().guaranteed().inBackground(new BackgroundCallback() {
        @Override
        public void processResult(CuratorFramework curatorFramework, CuratorEvent curatorEvent) throws Exception {
            System.out.println("我被删除了");
            System.out.println(curatorEvent);
        }
    }).forPath("/app2");
}

4.2.4 修改节点

1.修改数据

@Test
public void  testSet() throws Exception {
    client.setData().forPath("/app2","zz".getBytes());
}

2.根据版本修改

@Test
public void  testSet2() throws Exception {
    Stat status = new Stat();
    client.getData().storingStatIn(status).forPath("/app2");
    int version = status.getVersion();
    System.out.println(version);
    client.setData().withVersion(version).forPath("/app2","haha".getBytes());
}

4.2.5 查询节点

1.查询数据 : get

@Test
public void testCet1() throws Exception {
    //1.查询数据: get
    byte[] data = client.getData().forPath("/app1");
    System.out.println(new String(data));

}

2.查询子节点: ls

@Test
public void testCet2() throws Exception {
    //2.查询子节点: ls
    final List<String> path = client.getChildren().forPath("/");
    System.out.println(path);
}

3.查询节点状态信息: ls -s

@Test
public void testCet3() throws Exception {
    //3. 查询节点状态信息: ls -s
    Stat status = new Stat();
    System.out.println(status);
    client.getData().storingStatIn(status).forPath("/app1");
    System.out.println(status);
}

4.2.6 Watch事件监听

Curator API 常用操作 **- Watch ** 事件监听

  • ZooKeeper 允许用户在指定节点上注册一些Watcher，并且在一些特定事件触发的时候，ZooKeeper 服务端会将事件通知到感兴趣的客户端上去，该机制是 ZooKeeper 实现分布式协调服务的重要特性。

  • ZooKeeper 中引入了Watcher机制来实现了发布/订阅功能能，能够让多个订阅者同时监听某一个对象，当一个对象自身状态变化时，会通知所有订阅者。

  • ZooKeeper 原生支持通过注册Watcher来进行事件监听，但是其使用并不是特别方便需要开发人员自己反复注册Watcher，比较繁琐。

  • Curator引入了 Cache 来实现对 ZooKeeper 服务端事件的监听。

  • ZooKeeper提供了三种Watcher：

    • NodeCache : 只是监听某一个特定的节点

    • PathChildrenCache : 监控一个ZNode的子节点.

    • TreeCache : 可以监控整个树上的所有节点，类似于PathChildrenCache和NodeCache的组合

1.对某一个节点进行监听

 @Test
public void testNodeCache() throws Exception {
    //1. 创建NodeCache对象
    NodeCache nodeCache = new NodeCache(client, "/app2");
    //2.注册监听
    nodeCache.getListenable().addListener(new NodeCacheListener() {
        @Override
        public void nodeChanged() throws Exception {
            System.out.println("节点变化了~");

            final byte[] data = nodeCache.getCurrentData().getData();
            System.out.println(new String(data));
        }
    });
    //3.开启监听.如果设置为true,则开启监听是,加载数据
    nodeCache.start(true);
    while(true){

    }
}

2.监听一个ZNode的子节点

 @Test
public void testPathChildrenCache() throws Exception {
    //1.创建监听对象
    final PathChildrenCache pathChildrenCache = new PathChildrenCache(client, "/app2", true);
    //2.绑定监听器
    pathChildrenCache.getListenable().addListener(new PathChildrenCacheListener() {
        @Override
        public void childEvent(CuratorFramework curatorFramework, PathChildrenCacheEvent pathChildrenCacheEvent) throws Exception {
            System.out.println("子节点变化了");
            System.out.println(pathChildrenCacheEvent);
            //监听子节点的数据变更,并且拿到变更后的数据
            final PathChildrenCacheEvent.Type type = pathChildrenCacheEvent.getType();
            //2.判断类型是否是update
            if (type.equals(PathChildrenCacheEvent.Type.CHILD_UPDATED)){
                System.out.println("数据变了!!");
                final byte[] data = pathChildrenCacheEvent.getData().getData();
                System.out.println(new String(data));
            }
        }
    });
    pathChildrenCache.start();

    while(true){

    }
}

3.可以监控整个树上的所有节点，类似于PathChildrenCache和NodeCache的组合

 @Test
public void testTreeCache() throws Exception {
    //1.创建监听器
    TreeCache treeCache = new TreeCache(client,"/app2");
    //2.注册监听
    treeCache.getListenable().addListener(new TreeCacheListener() {
        @Override
        public void childEvent(CuratorFramework curatorFramework, TreeCacheEvent treeCacheEvent) throws Exception {
            System.out.println("节点发生改变了");
            System.out.println(treeCacheEvent);
        }
    });
    treeCache.start();

    while(true){

    }
}

4.3 分布式锁

1. 分布式锁

  • 在我们进行单机应用开发，涉及并发同步的时候，我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题，这时多线程的运行都是在同一个JVM之下，没有任何问题。

  • 但当我们的应用是分布式集群工作的情况下，属于多JVM下的工作环境，跨JVM之间已经无法通过多线程的锁解决同步问题。

  • 那么就需要一种更加高级的锁机制，来处理种跨机器的进程之间的数据同步问题——这就是分布式锁。

2.ZooKeeper* 分布式锁原理

  • 核心思想：当客户端要获取锁，则创建节点，使用完锁，则删除该节点。

  1. 客户端获取锁时，在lock节点下创建临时顺序节点。

  2. 然后获取lock下面的所有子节点，客户端获取到所有的子节点之后，如果发现自己创建的子节点序号最小，那么就认为该客户端获取到了锁。使用完锁后，将该节点删除。

  3. 如果发现自己创建的节点并非lock所有子节点中最小的，说明自己还没有获取到锁，此时客户端需要找到比自己小的那个节点，同时对其注册事件监听器，监听删除事件。

  4. 如果发现比自己小的那个节点被删除，则客户端的Watcher会收到相应通知，此时再次判断自己创建的节点是否是lock子节点中序号最小的，如果是则获取到了锁，如果不是则重复以上步骤继续获取到比自己小的一个节点 并注册监听。

4.4 模拟12306售票案例

Ticket12306

public class Ticket12306 implements Runnable{
    //数据库的票数
    private int tickets = 100;
    private InterProcessMutex lock;
    private CuratorFramework client;
    public Ticket12306(){
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000,10);
        client = CuratorFrameworkFactory.builder().connectString("xxx.xxx.xxx.xxx:2181")
                .sessionTimeoutMs(60 * 1000)
                .connectionTimeoutMs(15 * 1000)
                .retryPolicy(retryPolicy).build();
        //开启连接
        client.start();
        lock = new InterProcessMutex(client,"/lock");
    }
    @Override
    public void run() {
        while(true){
            //1. 获取锁
            try {
                lock.acquire(3, TimeUnit.SECONDS);
                if(tickets > 0){
                    System.out.println(Thread.currentThread() + " : " + tickets);
                    tickets--;
                }
            } catch (Exception e) {
                e.printStackTrace();
            }finally {
                try {
                    lock.release();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

LockTest

public class LockTest {
    public static void main(String[] args) {
        Ticket12306 ticket12306 = new Ticket12306();
        //创建客户端
        Thread t1 = new Thread(ticket12306, "携程");
        Thread t2 = new Thread(ticket12306, "飞猪");
        t1.start();
        t2.start();
    }
}

5.Zookeeper 集群 搭建

6. Zookeeper 核心理论

Zookeeper 集群角色

在ZooKeeper集群服中务中有三个角色：

  • Leader 领导者 ：

    1. 处理事务请求

    2. 集群内部各服务器的调度者

  • Follower 跟随者 ：

    1. 处理客户端非事务请求，转发事务请求给Leader服务器

    2. 参与Leader选举投票

  • Observer 观察者：

    1. 处理客户端非事务请求，转发事务请求给Leader服务器

7.问题

  1. zookeeper端口与Tomcat端口冲突需要改变用户端口
# 在zookeeper启动的时候，看打印信息显示会启动jetty，会使用到端口8080,如果安装了Tomcat就会发生冲突,导致Zookeeper 启动失败,所以要在配置文件zoo.cfg指定admin.serverPort=8089
  1. 防火墙问题
# 防火墙问题可能导致Java API 连接Zookeeper 连接超时,需要关闭防火墙 service iptables stop,我使用的阿里云服务器,还是把2181 端口放开

参考资料
黑马程序员Zookeeper

南来北往w
关注
专栏目录
Zookeeper学习
weixin_44468025的博客
04-19 1653
Zookeeper简介 一、概述 1.Zookeeper是Yahoo（雅虎）开发后来贡献给了Apache的一套用于分布式管理和协调的框架 2.Zookeeper本身仿照Google的《The Chubby Lock》设计实现的 3.Zookeeper提供了中心化服务：包括：统一的配置，统一的命名，提供分布式锁，以及提供组服务 二、安装 1.单机模式：在一台机器上安装框架，往往只能启动框架的部分功能 2.伪分布式：也是在一台机器上安装框架，利用了多线程来模拟集群环境，能够启动框架大部分功能，甚至全部功能 3.
zookeeper学习资料
a846029405的博客
06-04 232
[b]Zookeeper从入门到专家[/b] [url]https://blog.csdn.net/column/details/14599.html[/url]
ZooKeeper入门及核心知识点整理
2301_76166241的博客
08-22 1109
Zookeeper简称zk，先从字面意思上去理解，那就是动物园管理员。其实zk是大数据领域中的一员，为整个分布式环境提供了协调服务，主要可以用于存储一些配置信息，同时也可以基于zk实现集群。它是一个apache的开源分布式中间件。举一些zk简单的场景：比如当你使用dubbo的时候，你需要使用zk作为注册中心，当然SpringCloud也可以使用zk来替代eureka作为注册中心。另外kafka和solr都是基于zk的结合实现了集群，当然netty也可以。
Zookeeper简单介绍(转载)
weixin_30496751的博客
05-25 122
转载自:http://www.cnblogs.com/sunddenly/p/4033574.html 1、ZooKeeper概述 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调...
Zookeeper入门学习资料
peinbill的博客
01-12 271
Zookeeper作为Hadoop生态中的一员，属于那种我们日常经常有意无意用着的，但就是很少专门只用它的一种的软件——有点像黑子哲也那样。你说它不重要吧，少了它你kafka，HBase、HDFS那些又搞不动，多了它吧，反正那些软件本身都已经搭好了跟Zookeeper的互动，你也几乎不会调用Zookeeper的api。 但是，Zookeeper还是有一个非学不可的理由——很简单，不用太费心。所以之前工作期间俺也特地抽了一两个周末来搞懂个大概——其实也就入门水平，毕竟入了门好像现在也没怎么使用过。 .
zookeeper学习笔记
01-18
### Zookeeper 学习笔记 #### 一、Zookeeper 简介与安装配置 **Zookeeper** 是一个分布式协调服务框架，它提供了一种高效可靠的机制来维护集群中的配置信息、命名服务以及提供分布式锁等功能，使得开发人员能够...
基于Java语言的Zookeeper学习笔记设计源码
最新发布
10-11
该项目为基于Java语言的Zookeeper学习笔记设计源码，总计包含20个文件，具体构成包括15个Java源文件、3个PNG图片文件以及1个Markdown文件。此外，项目还包含1个XML配置文件，适用于学习和实践Zookeeper相关知识。
Zookeeper学习笔记
03-07
今晚上在上传学习笔记的时候，看了之前发布的文章，突然发现对于我上传的学习笔记是没有展示出来的，所以在这里对笔记进行重新的上传。不知道能不能上传成功！
Zookeeper学习笔记.docx
03-27
ZooKeeper 学习笔记 ZooKeeper 是一个开源的分布式协调服务，由 Hadoop 的创始人 Doug Cutting 等人开发。它为分布式应用提供了一个高效、可靠的协调机制，帮助开发者快速构建高可用、可扩展的分布式系统。 ...
Zookeeper学习资料收集与整理
fyxxq的专栏
02-18 1984
Zookeeper的几个核心术语： Znode, Watcher，ZK事件通知的延时， Leader Election：也就是选出一个 Master Server。和前面的一样每台 Server 创建一个 EPHEMERAL 目录节点，不同的是它还是一个 SEQUENTIAL 目录节点，所以它是个 EPHEMERAL_SEQUENTIAL 目录节点。之所以它是 EPHEMERAL_
zookeeper学习文档
03-24
zookeeper学习资料，对学习分布式系统有很大的帮助~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Zookeeper的有关学习
zy_yb的博客
07-27 965
Learnning bigdata.............
学习Zookeeper
u010475109的专栏
03-22 216
注：本文以window系统及zookeeper-3.4.11为例1.什么是ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将...
ZooKeeper学习笔记
Lizhj的博客
11-14 666
ZK学习笔记
zookeeper学习整理
victory_gwb的专栏
03-08 852
1、什么是zookeeper？ 官方定义：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 就目前的了解，zookeeper是实现数据一致性的工具，并在数据一致性的基础上，实现各类应用场景。Zookeeper是基于paxos算法实现的基于消息传递的一致性算法，一个节点要成为leader，必须
学习笔记-zookeeper
u010230019的博客
10-22 723
zookeeper学习笔记
深入分析Zookeeper源码笔记
资源摘要信息:"该压缩包文件名为‘笔记_zookeeper_源码.zip’，从文件命名来看，这是一个关于Apache ZooKeeper源码分析的个人笔记或教程。Apache ZooKeeper是一个开源的分布式协调服务，它被设计用来维护配置信息、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值