一、Zookeeper概述
1、什么是Zookeeper?
答:Zookeeper是分布式开源框架,是分布式协调工具。
2、应用场景:
答:dubbo 是rpc远程调用框架+Zookeeper作为注册中心,(命名服务)
发布订阅 --- wathcher 对zk节点发生改变的时候,都会有事件通知。
3、负载均衡。
4、分布式通知(wathcher)
5、master选举策略-- 主备 投票机制 使用ping机制心跳检测
6、Zookeeper实现分布式锁。redis实现分布式锁、SpringCLoud分布式锁
7、使用Zookeeper实现分布式配置中心。
架构上问:Zookeeper实现原理
二、Zookeeper数据结构
1、Zookeeper数据结构 类似 xml 是树状存储结构
2、Zookeeper节点四种节点类型
1、持久节点:不会被删除,会保存在硬盘里。
2、持久顺序节点:就是在节点里面会有编号
3、临时节点 :跟声明周期是绑定的,连接断开了,节点信息就会直接删除掉。
4、临时顺序节点:在节点里面会有个编号。
节点wathcher:就是节点的事件通知。
就是事件监听,获取到节点信息的改变、增删查改。
dubbo使用的是Zookeeper注册中心。
使用zk实现发布订阅原理 类似消息队列机制。
三、windows搭建Zookeeper
命令行命令使用:
ls / -- 查看当前所有的节点
create /leeue test 场景一个新节点 内容是 test
set /leeue i 修改节点信息test 变成 i
delete /leeue 删除
四、使用Java语言操作Zookeeper
pom.xml
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.6</version>
</dependency>
代码:
package com.leeue.zk;
import java.io.IOException;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.server.ZKDatabase;
/**
*
* @classDesc: 功能描述:(Java语言去操作 zookeeper)
* @author:<a href="leeue@foxmail.com">李月</a>
* @Version:v1.0
* @createTime:2018年11月15日 上午11:12:22
*/
public class Test001 {
private static String ADDRESS = "127.0.0.1";
private static int SESSION_OUT_TIME = 2000;
public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
ZooKeeper zooKeeper = new ZooKeeper(ADDRESS, SESSION_OUT_TIME, new Watcher() {
// 这里面就是事件通知
public void process(WatchedEvent event) {
/*try {
// 伪造阻塞现象 因为这里是 一个主线程 一个子线程在运行
Thread.sleep(20000);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}*/
//1 获取事件状态
KeeperState state = event.getState();
// 2.判断当前连接状态
if(state == KeeperState.SyncConnected) {
// 3.获取事件类型
EventType eventType = event.getType();
if(eventType == EventType.None) { //None 表示事件是连接的状态
System.out.println("###ZK开始启动连接了###");
}
}
}
});
String result = zooKeeper.create("/leeue4", "one".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
System.out.println("###新增节点信息:"+result);
zooKeeper.close();// 关闭连接
}
}
上面是一个在创建连接的是在子线程中执行,而创建节点是在主线程中执行。
这么写有时候会导致,连接还没创建,就开始创建节点了,就会报错误。
导致节点创建不成功。所以下面代码 加入了信号量来实现 。
为什么ZK创建连接,是创建一个新的线程,而不在主线程中创建连接?
答:因为如果在主线程中创建连接,就有可能一直造成主线程的阻塞现象发生。
可能连接要需要很长时间。而导致后面后面代码没法执行。
而使用子线程去连接,就不会影响主线程中后面代码的执行。不会有阻塞现象
发送。
还有就是为了提高响应速度,才使用多线程的来创建连接。
使用CountDownLatch 阻塞用户程序,用户必须等待连接成功,发送成功信号后
才能创建节点
package com.leeue.zk;
import java.io.IOException;
import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.server.ZKDatabase;
/**
*
* @classDesc: 功能描述:(Java语言去操作 zookeeper)
* @author:<a href="leeue@foxmail.com">李月</a>
* @Version:v1.0
* @createTime:2018年11月15日 上午11:12:22
*/
public class Test001 {
private static String ADDRESS = "127.0.0.1";
private static int SESSION_OUT_TIME = 2000;
/**
* countDownLatch: 某一个线程开始运行前,需要等待前面n个线程执行完闭后才能执行。初始化
* 是 new CountDownLatch(n) 每当一个线程执行完毕后,就需要 将计速器-1 countDownLatch.countDown()
* 当计数器的值变成0时,countDownLatch.await()上的线程就会被唤醒。
* 一个典型应用场景就是启动一个服务时,主线程需要等待多个组件加载完毕,之后再继续执行。
*/
private static CountDownLatch countDownLatch = new CountDownLatch(1); // 信号量
public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
ZooKeeper zooKeeper = new ZooKeeper(ADDRESS, SESSION_OUT_TIME, new Watcher() {
// 这里面就是事件通知
public void process(WatchedEvent event) {
try {
// 伪造阻塞现象 因为这里是 一个主线程 一个子线程在运行
Thread.sleep(5000);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
//1 获取事件状态
KeeperState state = event.getState();
// 2.判断当前连接状态
if(state == KeeperState.SyncConnected) {
// 3.获取事件类型
EventType eventType = event.getType();
if(eventType == EventType.None) { //None 表示事件是连接的状态
System.out.println("###ZK开始启动连接了###");
}
countDownLatch.countDown();
}
}
});
countDownLatch.await();//等待信息量中的计数器变成0 后才开始执行下面的代码
String result = zooKeeper.create("/leeue4", "one".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
System.out.println("###新增节点信息:"+result);
zooKeeper.close();// 关闭连接
}
}
五、创建ZK临时节点
在ZK中创建的节点都是不能重复的。
ZK也可以设置节点权限,Ids.
创建临时节点代码。
package com.leeue.zk;
import java.io.IOException;
import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.server.ZKDatabase;
/**
*
* @classDesc: 功能描述:(Java语言去操作 zookeeper)
* @author:<a href="leeue@foxmail.com">李月</a>
* @Version:v1.0
* @createTime:2018年11月15日 上午11:12:22
*/
public class Test001 {
private static String ADDRESS = "127.0.0.1";
private static int SESSION_OUT_TIME = 2000;
/**
* countDownLatch: 某一个线程开始运行前,需要等待前面n个线程执行完闭后才能执行。初始化
* 是 new CountDownLatch(n) 每当一个线程执行完毕后,就需要 将计速器-1 countDownLatch.countDown()
* 当计数器的值变成0时,countDownLatch.await()上的线程就会被唤醒。
* 一个典型应用场景就是启动一个服务时,主线程需要等待多个组件加载完毕,之后再继续执行。
*/
private static CountDownLatch countDownLatch = new CountDownLatch(1); // 信号量
public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
ZooKeeper zooKeeper = new ZooKeeper(ADDRESS, SESSION_OUT_TIME, new Watcher() {
// 这里面就是事件通知
public void process(WatchedEvent event) {
try {
// 伪造阻塞现象 因为这里是 一个主线程 一个子线程在运行
Thread.sleep(5000);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
//1 获取事件状态
KeeperState state = event.getState();
// 2.判断当前连接状态
if(state == KeeperState.SyncConnected) {
// 3.获取事件类型
EventType eventType = event.getType();
if(eventType == EventType.None) { //None 表示事件是连接的状态
System.out.println("###ZK开始启动连接了###");
}
countDownLatch.countDown();
}
}
});
countDownLatch.await();//等待信息量中的计数器变成0 后才开始执行下面的代码
// 创建临时节点、权限是所有的服务器都可以访问。
String result = zooKeeper.create("/leeue_temp", "one".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
System.out.println("###新增节点信息:"+result);
zooKeeper.close();// 关闭连接
}
}
会创建节点,但是执行了 zooKeeper.close()时候,节点会被删除掉。
ZK实现分布式锁,就是使用临时节点来实现的。
连接释放后,节点也就删除了。
六、ZK中的Watcher事件通知
1、zk watcher事件通知:当节点发生改变、新增、修改、删除都会有事件通知。
package com.leeue.zk;
import java.io.IOException;
import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.server.ZKDatabase;
/**
* @classDesc: 功能描述:(封装ZK连接)
* @author:<a href="leeue@foxmail.com">李月</a>
* @Version:v1.0
* @createTime:2018年11月15日 下午1:48:00
*/
public class Test002 implements Watcher{
//zk连接地址
private static String ADDRESS = "127.0.0.1";
//zk会话超时时间
private static int SESSION_OUT_TIME = 2000;
//信号量
private static CountDownLatch countDownLatch = new CountDownLatch(1); // 信号量
//定义成全局的
ZooKeeper zooKeeper;
//创建zookeeper连接
public void createConnection(String connectString,int sessionTimeout){
try {
zooKeeper = new ZooKeeper(connectString, sessionTimeout, this);
} catch (IOException e) {
e.printStackTrace();
}
}
//创建持久化节点
public boolean createNode(String path,String data) {
// 如果没有异常就是说明该几点就创建成功。
try {
//创建节点 开启事件通知
exists(path,true);
String result = zooKeeper.create(path, data.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
System.out.println("###新增节点成功path:"+path+"data:"+data+"新增节点信息:"+result);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
// 走事件通知的方法
public void process(WatchedEvent event) {
System.out.println("");
System.out.println("#####事件通知开始#####");
//1.获取事件状态
KeeperState keeperState = event.getState();
//2.获取节点路径
String path = event.getPath();
//3.获取事件类型
EventType type = event.getType();
System.out.println("###进入process方法 状态:"+keeperState+"路径:"+path+"事件类型:"+type);
// 4.判断当前连接状态
if(keeperState == KeeperState.SyncConnected) {
// 判断事件类型 None 表示建立连接成功了
if(type == EventType.None) { //None 表示事件是连接的状态
System.out.println("###ZK开始启动连接了###");
countDownLatch.countDown();
}else if(type == EventType.NodeCreated){
System.out.println("###获取到事件通知,当前node节点被创建+"+path+"###");
}else if(type == EventType.NodeDataChanged){
System.out.println("###获取到事件通知,当前node节点被修改+"+path+"###");
}else if(type == EventType.NodeDeleted){
System.out.println("###获取到事件通知,当前node节点被删除+"+path+"###");
}
}
System.out.println("");
System.out.println("#####事件通知结束#####");
}
// 发送事件通知 只有实现了这个方法才能发送事件通知
public Stat exists(String path, boolean isWatch) {
try {
return zooKeeper.exists(path, isWatch);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
// 关闭连接
public void close() {
try {
zooKeeper.close();
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
public static void main(String[] args) {
Test002 test002 = new Test002();
test002.createConnection(ADDRESS, SESSION_OUT_TIME);
test002.createNode("/leeue", "1");
test002.close();
}
}
注意必须要开启事件通知才会有通知。
上面update
作业题:zk事件通知有延迟的情况下,怎么处理。
zk实现分布式锁 临时节点
zk底层实现原理
zk负载均衡
zk选举
zk分布式配置中心