一、简介
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
1.1 环境准备
服务器配置:
节点 | IP |
---|---|
node01 | 192.168.153.128 |
node02 | 192.168.153.128 |
node03 | 192.168.153.128 |
zookeeper集群使用了Docker进行搭建:
#下载镜像
docker pull zookeeper:3.4.13
在conf
目录下创建zoo.cfg
文件:
clientPort=2181
dataDir=/data
dataLogDir=/data/log
tickTime=2000
initLimit=5
syncLimit=2
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60
server.1=192.168.153.128:2888:3888
server.2=192.168.153.129:2888:3888
server.3=192.168.153.130:2888:3888
在data
目录下创建myid
文件:(注意写入的数字对应的是zoo.cfg配置中server.后的数字)
#在node01节点
echo "1" > myid
#在node02节点
echo "2" > myid
#在node03节点
echo "3" > myid
创建容器:
#创建容器
docker run --network host -v /data/docker/zk/data:/data -v /data/docker/zk/conf:/conf --name zookeeper-2181 -d zookeeper:3.4.13
然后进入容器内部:
#查看zk容器ID
docker ps |grep zookeeper
# 进入zk容器内部
docker exec -it 6d6834a69123 /bin/bash
# 查看zk状态
zkServer.sh status
# 启动zk
zkServer.sh start
# 启动zk 客户端
zkCli.sh
以下简单演示一下zk 客户端的命令使用:
create
创建一个节点,get
获得数据,set
设置数据:
创建一个临时节点,在客户端断开连接的时候,session会话消失,这个临时节点也会被自动删除。
二、代码实现
2.1 项目搭建
创建Maven项目,导入pom依赖:
<!-- zookeeper -->
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.13</version>
</dependency>
<!-- lombok -->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.12</version>
</dependency>
<!-- junit -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
2.2 获得zk客户端
创建ZkUtil
工具类,获得zk客户端连接:
注意:new 出的ZooKeeper不能立即返回,还需要等待和zk server端建立连接后才能返回,所以借助了CountDownLatch
。
@Slf4j
public class ZkUtil {
private static ZooKeeper zooKeeper;
private static final String host = "192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181";
private static final int timeout = 5000;
private static CountDownLatch countDownLatch = new CountDownLatch(1);
private static DefaultWatch defaultWatch = new DefaultWatch();
/**
* 获得zkClient
* 注意:new 出的ZooKeeper不能立即返回,还需要等待和zk server端建立连接后才能返回
* 需要注册一个watch:此处自定义了DefaultWatch
* @return
*/
public static ZooKeeper getZkClient(){
try {
defaultWatch.setCountDownLatch(countDownLatch);
zooKeeper = new ZooKeeper(host, timeout, defaultWatch);
countDownLatch.await();//阻塞中,等待DefaultWatch连接成功
}catch (Exception e){
log.error("getZkClient error:{}",e.getMessage());
}
return zooKeeper;
}
/**
* 关闭zk客户端连接
*/
public static void closeZK(){
if(zooKeeper != null){
try {
zooKeeper.close();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
创建自定义Watch实现类:
/**
* @Author: LiuShihao
* @Date: 2022/8/15 23:33
* @Desc: 构造默认Watch,在ZkUtil中使用
*/
@Slf4j
public class DefaultWatch implements Watcher {
CountDownLatch countDownLatch;
public void setCountDownLatch(CountDownLatch countDownLatch) {
this.countDownLatch = countDownLatch;
}
@Override
public void process(WatchedEvent event) {
if(Event.KeeperState.SyncConnected==event.getState()){
//如果收到了服务端的响应事件,连接成功
countDownLatch.countDown();
log.info("Zookeeper Connected Successful!");
}
}
}
2.3 实现动态监控节点状态
自定义WatchCallBack
类实现Watcher
、AsyncCallback.StatCallback
、AsyncCallback.DataCallback
,重写三个回调方法。
- 实现
Watcher
接口,重写回调方法,当节点产生Event
事件,就会触发Watch
的回调方法。 - 实现
StatCallback
接口,重写回调方法,当调用zooKeeper.exists()
方法判断节点是否存在的时候,就会触发回调方法。 - 实现
DataCallback
接口,重写回调方法,当调用zooKeeper.getData()
方法获取节点数据的时候,就会触发回调方法。
/**
* @Author: LiuShihao
* @Date: 2022/8/15 23:50
* @Desc: 实现三个接口
* Watcher 注册节点监控回调
* StatCallback exists 节点是否存在异步回调
* DataCallback getData 获取数据异步回调
*/
@Data
public class WatchCallBack implements Watcher, AsyncCallback.StatCallback, AsyncCallback.DataCallback {
//注意,getData数据时需要使用zk对象,需要手动set
ZooKeeper zooKeeper;
String path;
MyConf myConf;
CountDownLatch countDownLatch = new CountDownLatch(1);
public WatchCallBack(ZooKeeper zooKeeper,String path) {
this.zooKeeper = zooKeeper;
this.path = path;
}
public void aWait() {
//判断节点是否存在,会出发exists异步回调方法(方法2)
zooKeeper.exists(path, this, this,"aaa");
try {
countDownLatch.await();//等待MyConf数据取完
}catch (Exception e){
System.out.println(e.getMessage());
}
}
/**
* 1 getData 异步回调
*/
@Override
public void processResult(int rc, String path, Object ctx, byte[] data, Stat stat) {
if (data != null){
//如果数据不为空,则设置myConf,countDown -1
System.out.println("getData 回调:"+new String(data));
myConf.setConf(new String(data));
countDownLatch.countDown();
}else {
//数据为空,countDown继续阻塞,如果节点有数据写入,发生NodeDataChanged事件,触发watch回调方法(方法3)
System.out.println("getData 回调 :没有数据");
}
}
/**
* 2 exists 判断节点是否存在 异步回调
*/
@Override
public void processResult(int rc, String path, Object ctx, Stat stat) {
System.out.println("======exists 回调======");
if (stat != null){
System.out.println("======"+path+" 节点存在======");
//触发getData的异步回调方法(方法1)
zooKeeper.getData(path,this,this,"abc");
}else {
System.out.println("====== "+path+" 节点不存在======");
}
}
/**
* 3 watch 观察节点 回调方法
*/
@Override
public void process(WatchedEvent event) {
// System.out.println("WatchedEvent 回调:"+event.getState());
switch (event.getType()) {
case None:
break;
case NodeCreated:
System.out.println("WatchedEvent 回调:节点被创建");
//节点刚被创建出来
//整个流程:首先在TestConfig类中判断节点是否存在,此时节点还未创建,则被阻塞在aWait()方法,等到节点被创建出,发生watch回调,即此处,然后继续获得数据,出发getData回调方法,从而完成aWait方法()
zooKeeper.getData(event.getPath(),this,this,"abc");
break;
case NodeDeleted:
System.out.println("WatchedEvent 回调:节点被删除");
//容忍性问题
//如果节点被删除,数据要怎么处理?
//清空myConf
myConf.setConf("");
//并且countDownLatch重新赋值
countDownLatch = new CountDownLatch(1);
break;
case NodeDataChanged:
System.out.println("WatchedEvent 回调:节点数据被更改");
//注意:如果数据被变更,则需要重新获取数据
zooKeeper.getData(event.getPath(),this,this,"abc");
break;
case NodeChildrenChanged:
break;
}
}
}
2.4 测试
三、代码分析
流程分析:
程序:启动程序,此时节点还未创建出来,程序被阻塞,等待节点创建
命令行:使用zk客户端命令行创建节点
程序:节点被创建,程序获取数据,打印数据
命令行:使用zk客户端命令行修改节点数据
程序:节点数据被修改程序获得更新后数据
命令行:使用zk客户端命令行删除节点
程序:节点被删除,程序阻塞,等待节点创建获取数据
利用watch
机制,实现服务上下线、配置文件修改通知,从而实现配置中心、注册中心的功能,另外利用zookeeper的临时节点在session会话结束后自动删除,还可以实现分布式锁的功能。
四、源码
源码已上传Github:https://github.com/Liu-Shihao/zookeeper-api
了解更多内容,请关注微信公众号:TalkJava