网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一、什么是zookeeper?
1、简介
zooKeeper 是一个开放源码的分布式协调服务,主要为了解决分布式架构下数据一致性问题, 它是集群的管理者, 监视着集群中各个节点的状态,根据节点提交的反馈进行下一步合理操作。 最终, 将简单易用的接口和性能高效、 功能稳定的系统提供给用户
2、应用场景
分布式配置中心、分布式注册中心、分布式锁、分布式队列、集群选举、分布式屏障、发布/订阅等场景。
二、Zookeeper数据结构
1、简介
Zookeeper的数据模型类似于文件系统,是树状结构,每个树节点(目录)对应一个Znode节点。这些目录节点和我们普通的目录一样可以新建、删除、修改。
2、常用的数据格式有:
我们常用的主要有四种类型的znode。
1、持久化目录节点:PERSISTENT 客户端与zookeeper断开连接后,该节点依旧存在,只要不手动删除该节点,他将永远存在。
2、持久化顺序编号目录节点:PERSISTENT_SEQUENTIAL : -s 客户端与zookeeper断开连接后,该节点依旧存在,只是zookeeper给该节点名称进行顺序编号。
3、临时目录节点:EPHEMERAL : -e 客户端与zookeeper断开连接后,该节点被删除。
4、临时顺序编号目录节点: EPHEMERAL_SEQUENTIAL : -es 客户端与zookeeper断开连接后,该节点被删除,只是zookeeper给该节点名称进行顺序编号。
3、zookeeper客户端常用命令:
1)、连接zookeeper服务端(Linux): ./zkCli.sh -server ip:port
2)、断开zookeeper服务端的连接: quit
3)、查看帮助: help
4)、查询所有的目录节点: ls /
5)、创建目录节点: create /节点名 值(可写可不写)
6)、设置目录节点的值(修改时也可以): set /节点名 值
7)、删除单个目录节点: delete /节点名
8)、删除带有子节点的目录: deleteall /节点名
9)、创建临时目录节点: create -e /节点名 值(可写可不写)
10)、创建持久化目录节点: create -s /节点名 值(可写可不写)
11)、查询目录节点的详情信息: ls -s /节点名
三、Zookeeper JavaAPI(Curator)
1、简介:
Apache Curator 是一个用于Apache ZooKeeper 的Java 客户端框架。 Curator 提供了一组易于使用的API和工具,简化了与ZooKeeper 的交互,同时提供了更高级别的抽象和功能。
2、搭建和使用Curator(以下环境使用的是spring boot)
1)、引入Curator支持
<!-- zookeeper支持 -->
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.6.4</version>
</dependency>
<!-- curator-recipes -->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>5.5.0</version>
</dependency>
<!-- curator-framework -->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>5.5.0</version>
</dependency>
2)、连接zookeeper客户端
//超时重试(连接间隔时间和超时连接次数)
RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 5);
//连接zookeeper对象
client = CuratorFrameworkFactory.newClient(
"ip:port",
1000,
60*1000,
retryPolicy);
//开始连接
client.start();
3)、创建节点
//1、创建节点并赋值
String path = client.create().forPath("/zuxia","helloworld".getBytes());
System.out.println("创建节点:"+path);
//2、创建节点带子节点(如果不给子节点赋值,子节点的值默认为当前系统的IP地址)
String path = client.create().creatingParentsIfNeeded().forPath("/zuxia/abc");
System.out.println("创建节点:"+path);
//3、创建临时节点(当断开连接时临时节点会自动删除,withMode中的属性可选择)
String path =client.create().withMode(CreateMode.EPHEMERAL).forPath("/a","helloworld".getBytes());
System.out.println("创建节点:"+path);
4)、查询节点
//1、查询节点的数据
byte[] bytes = client.getData().forPath("/zuxia");
System.out.println(new String(bytes));
//2、查询节点的数据(详情信息)
Stat stats=new Stat();
System.out.println(stats);//为了区分两个结果的不同
byte[] be = client.getData().storingStatIn(stats).forPath("/zuxia");
System.out.println(stats);
5)、更新节点
//给节点赋值(返回值为Stat,可写可不写)
client.setData().forPath("/ab", "hello".getBytes());
6)、删除节点
//1、删除节点
System.out.println("删除节点:"+client.delete().forPath("/wjh"));
//2、删除带有子节点的目录节点
System.out.println("删除子节点:"+client.delete().deletingChildrenIfNeeded().forPath("/zuxia"));
7)、Watch事件监听
•ZooKeeper 允许用户在指定节点上注册一些Watcher,并且在一些特定事件触发的时候,ZooKeeper 服务端会将事件通知到感兴趣的客户端上去,该机制是 ZooKeeper 实现分布式协调服务的重要特性。
•ZooKeeper 中引入了Watcher机制来实现了发布/订阅功能能,能够让多个订阅者同时监听某一个对象,当一个对象自身状态变化时,会通知所有订阅者。
•ZooKeeper提供了三种Watcher:
NodeCache : 只是监听某一个特定的节点
PathChildrenCache : 监控一个ZNode的子节点.
TreeCache : 可以监控整个树上的所有节点,类似于PathChildrenCache和NodeCache的组合
1、NodeCache 监听事件
@Test
void testNodeCache() throws Exception {
// 1. 创建NodeCache
NodeCache nodeCache = new NodeCache(client, "/ab");
// 2. 注册监听
nodeCache.getListenable().addListener(new NodeCacheListener() {
@Override
public void nodeChanged() throws Exception {
System.out.println("/ab节点发生变更");
byte[] dataBytes = nodeCache.getCurrentData().getData();
System.out.println("节点修改后的数据:" + new String(dataBytes));
}
});
// 3. 开启监听,如果设置为true,则开启监听时,加载缓冲数据
nodeCache.start(true);
while(true){}
}
2、PathChildrenCache 监听事件
@Test
void testPathChildrenCache() throws Exception {
//创建监听对象(监听指定节点下的)
PathChildrenCache pathChildrenCache= new PathChildrenCache(client, "/zuxia", true);
//注册监听事件
pathChildrenCache.getListenable().addListener(new PathChildrenCacheListener() {
@Override
public void childEvent(CuratorFramework cf, PathChildrenCacheEvent event) throws Exception {
System.out.println("节点发生变化了");
PathChildrenCacheEvent.Type type = event.getType();
//当前判断的是当节点发生更新时进入改方法,可以选择添加或者删除的方法
if (type.equals(PathChildrenCacheEvent.Type.CHILD_UPDATED)){
byte[] bytes = event.getData().getData();
System.out.println("节点修改后的数据"+new String(bytes));
}
}
});
//开启监听
pathChildrenCache.start();
while (true){}
}
3、TreeCache 监听事件
@Test
void testTreeCache() throws Exception {
//创建监听对象
TreeCache treeCache = new TreeCache(client, "/zuxia");
//注册监听
treeCache.getListenable().addListener(new TreeCacheListener() {
@Override
public void childEvent(CuratorFramework curatorFramework, TreeCacheEvent treeCacheEvent) throws Exception {
System.out.println("节点发生变化了");
TreeCacheEvent.Type type = treeCacheEvent.getType();
if (type.equals(TreeCacheEvent.Type.NODE_ADDED)){
System.out.println("节点添加了");
}
}
});
//开启监听
treeCache.start();
while (true){}
}
8)、分布式锁实现
- 首先我们要了解什么是分布式锁?
在我们进行单机应用开发,涉及并发同步的时候,我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题,这时多线程的运行都是在同一个JVM之下,没有任何问题。
但当我们的应用是分布式集群工作的情况下,属于多JVM下的工作环境,跨JVM之间已经无法通过多线程的锁解决同步问题。
那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题——这就是分布式锁。
-
其次也要悉知分布式锁的原理:
核心思想:当客户端要获取锁,则创建节点,使用完锁,则删除该节点。
1.客户端获取锁时,在lock节点下创建临时顺序节点。
2.然后获取lock下面的所有子节点,客户端获取到所有的子节点之后,如果发现自己创建的子节点序号最小,那么就认为该客户端获取到了锁。使用完锁后,将该节点删除。
3.如果发现自己创建的节点并非lock所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,同时对其注册事件监听器,监听删除事件。
4.如果发现比自己小的那个节点被删除,则客户端的
Watcher会收到相应通知,此时再次判断自己创建的节点
是否是lock子节点中序号最小的,如果是则获取到了锁,
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果是则获取到了锁,
[外链图片转存中…(img-c9rwoinx-1714912373438)]
[外链图片转存中…(img-4gimt95d-1714912373438)]
[外链图片转存中…(img-dQ7Tk19L-1714912373438)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新