一、Zookeeper入门
1.1 概述
Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。
Zookeeper从设计模式来理解:是一个人基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察这的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在Zookeeper 上注册的那些观察者做出相应的反应。
Zookeeper = 文件系统 + 通知机制
1.2 Zookeeper的特点
- Zookeeper :一个领导者(Leader),多个追随者(follower)组成的集群
- 集群中只要有半数以上的节点存活,Zookeeper就能正常服务。
- 全局数据一致:每个Server 保存一份相同的数据副本,Client 无论连接到那个Server,数据都是一致的。
- 更新请求顺序进行:来自同一个Client 的更新请求按其发送顺序依次执行。
- 数据更新原子性:一次数据更新要么全成功,要么都失败。
- 实时性:在一定时间范围内,Client 能读到最新数据。
1.3 数据结构
Zookeeper 的数据结构个UNIX文件系统很相似,整体上可以看做一棵树,每个节点称作一个ZNode。 每一个Znode默认能够存储1MB的数据,每个ZNode 都可以通过其路径唯一标识。
1.4 应用场景
提供的服务包括:
- 统一命名服务
- 统一配置管理
- 统一集群管理
- 服务器节点动态上下线
- 软负载均衡
等等……
二、Zookeeper安装
1.1 本地模式安装部署
1.1.1 安装前准备
- 安装Jdk
- 拷贝Zookeeper安装包到Linux系统下
- 解压到指定目录
tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/
1.1.2 配置修改
1、将/opt/module/zookeeper-3.5.7/conf 这个路径下的zoo_sample.cfg修改为zoo.cfg。
mv zoo_sample.cfg zoo.cfg
2、打开zoo.cfg文件,修改dataDir路径:
vim zoo.cfg
修改如下内容:
dataDir=/opt/module/zookeeper-3.5.7/zkData
3、在/opt/module/zookeeper-3.5.7/ 这个目录上创建zkData文件夹
mkdir zkData
1.1.3 操作Zookeeper
1、启动Zookeeper
bin/zkServer.sh start
2、查看进程是否启动
jps
4020 Jps
4001 QuorumPeerMain
3、查看状态:
bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone
4、启动客户端:
bin/zkCli.sh
5、退出客户端:
[zk: localhost:2181(CONNECTED) 0] quit
6、停止Zookeeper
bin/zkServer.sh stop
2.2配置参数解读
Zookeeper 中的配置文件 zoo.cfg 中参数含义解读如下:
1、tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。
它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
2、initLimit =10:LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。
3、syncLimit =5:LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。
4、dataDir:数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。
5、clientPort =2181:客户端连接端口
监听客户端连接的端口。
三、Zookeeper实战
3.1 分布式安装部署
3.1.1集群规划
在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。
3.1.2 配置服务器编号
在本地安装的基础上,进行分布式部署
1、在 /opt/module/zookeeper-3.5.7/zkData 目录下创建一个myid的文件
touch myid
添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码
2、编辑myid文件
vi myid
在文件中添加与server对应的编号:
2
3、拷贝配置好的 myid 到其他节点上
xsync myid
并分别在hadoop103、hadoop104上修改myid文件中内容为3、4
3.1.3 配置zoo.cfg文件
1、打开zoo.cfg文件(原名:zoo_sample.cfg,我们将其改名了)
修改数据存储路径并增加如下配置:
dataDir=/opt/module/zookeeper-3.5.7/zkData
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
2、同步zoo.cfg文件
xsync zoo.cfg
3、配置参数解读
例:
server.4=hadoop104:2888:3888
4是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据就是A的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
hadoop104是这个服务器的地址;配置过hosts,实际是IP地址
2888是这个服务器Follower与集群中的Leader服务器交换信息的端口;
3888是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
3.1.4 集群操作
1、分别启动Zookeeper,在所有节点启动
bin/zkServer.sh start
2、查看状态
bin/zkServer.sh status
追随者(Follower):
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower
领导者(Leader):
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: leader
3.2 客户端命令行操作
启动客户端
bin/zkCli.sh
命令基本语法 | 功能描述 |
---|---|
help | 显示所有操作命令 |
ls path | 使用 ls 命令来查看当前znode的子节点 -w 监听子节点变化 -s 附加次级信息 |
create | 普通创建 -s 含有序列 -e 临时(重启或者超时消失) |
get path | 获得节点的值 -w 监听节点内容变化 -s 附加次级信息 |
set | 设置节点的具体值 |
stat | 查看节点状态 |
delete | 删除节点 |
deleteall | 递归删除节点 |
四、API应用
4.1 创建ZooKeeper客户端
private static String connectString =
"hadoop102:2181,hadoop103:2181,hadoop104:2181";
private static int sessionTimeout = 2000;
private ZooKeeper zkClient = null;
@Before
public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知后的回调函数(用户的业务逻辑)
System.out.println(event.getType() + "--" +event.getPath());
// 再次启动监听
try {
zkClient.getChildren("/", true);
} catch (Exception e) {
e.printStackTrace();
}
}
});
}
}
4.2 创建子节点
// 创建子节点
@Test
public void create() throws Exception {
// 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
4.3 判断Znode是否存在
// 判断znode是否存在
@Test
public void exist() throws Exception {
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist");
}
4.4 获取子节点
// 获取子节点
@Test
public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
// 延时阻塞
Thread.sleep(Long.MAX_VALUE);
}
4.5 监听服务器节点动态上下线案例
4.5.1 服务器端
package com.zmxiong.zk2;
import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import java.io.IOException;
/*
服务器端:启动时在zookeeper中创建临时节点
1.创建zk客户端对象
2.判断父节点是否存在。如果不存在则创建(永久的)
3.在父节点下创建临时节点
4.让服务器一直运行
*/
public class ZKServer {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
ZooKeeper zk=new ZooKeeper(connectString, 4000, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
}
});
//2、判断父节点是否存在,不存在则创建(永久的)。
Stat exits = zk.exists("/parent",false);
zk.create("/parent","".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
//3、在父节点下创建临时节点
zk.create("/parent/"+args[0],args[1].getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
//4、让服务器一直运行。
Thread.sleep(Long.MAX_VALUE);
}
}
4.5.2 客户端
package com.zmxiong.zk2;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.List;
/*
客户端 :监听父节点,并获取父节点中的子节点的内容。
1.创建zk客户端对象
2.判断父节点是否存在(监听父节点---定义先启动服务器再启动客户端也可以不判断)
3.获取子节点(谁在线谁挂了)并监听
4.客户端不能死(一直监听服务器的状态)
*/
public class ZKClient {
private static ZooKeeper zk;
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
zk = new ZooKeeper(connectString, 4000, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
}
});
listener();
Thread.sleep(Long.MAX_VALUE);
}
public static void listener() throws InterruptedException, KeeperException {
List<String> children =zk.getChildren("/Test", new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
try {
listener();
} catch (InterruptedException | KeeperException e) {
e.printStackTrace();
}
}
});
for (String child : children) {
System.out.println(child);
}
}
}
五、Zookeeper内部原理
5.1 节点类型
5.2 Stat结构体
- czxid 创建节点的事务 zxid
- 每次修改 ZooKeeper 状态都会收到一个 zxi d形式的时间戳,也就是 ZooKeeper 事务ID。事务ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid ,如果 zxid1 小于zxid2 ,那么zxid1 在 zxid2 之前发生。
- ctime - znode 被创建的毫秒数(从1970年开始)
- mzxid - znode 最后更新的事务zxid
- mtime - znode 最后修改的毫秒数(从1970年开始)
- pZxid-znode 最后更新的子节点 zxid
- cversion - znode 子节点变化号,znode 子节点修改次数
- dataversion - znode 数据变化号
- aclVersion - znode 访问控制列表的变化号
- ephemeralOwner 如果是临时节点,这个是 znode 拥有者的 session id 。如果不是临时节点则是 0。
- dataLength- znode 的数据长度
- numChildren - znode 子节点数量
5.3 监听器原理
5.4选举机制
(1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。
(2)Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。
(3)以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么。
Zookeeper的选举机制
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的ID比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。
,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的ID比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。