第1章 Zookeeper入门
1.1 概述
Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题
ZooKeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，诸如：统一命名服务、分布式配置管理、负载均衡、分布式锁、分布式协调等功能
1.2 Zookeeper工作机制
1.3 Zookeeper特点
- Zookeeper：一个领导者(Leader)，多个跟随着(Follower)组成的集群
- 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务
- 全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的
- 可靠性：如果消息被其中一台服务器接受，那么将被所有服务器接受
- 顺序性：更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行
- 数据更新原子性：一次数据更新要么成功(半数以上节点成功)，要么失败，不存在中间状态
- 实时性：Zookeeper保证客户端在一定事件间隔范围内获取服务器的跟新信息，或者服务器失败的信息
1.4 集群的角色
-
Leader
Zookeeper 集群工作的核心
事务请求 (写操作) 的唯一调度和处理者，保证集群事务处理的顺序性
集群内部各个服务器的调度者
对于 create, setData, delete 等有写操作的请求，则需要统一转发给leader 处理.leader 需要决定编号、执行操作，这个过程称为一个事务
-
Follower
处理客户端非事务(读操作)请求，转发事务请求给 Leader
参与集群Leader 选举投票
-
Observer（对于访问量比较大的集群，可以新增观察者角色）
观察者角色，观察Zookeeper集群的最新状态变化并将这些状态同步过来，对于非事务请求可以进行独立处理，对于事务请求，则会转发给 Leader服务器进行处理
不会参与任何形式的投票只提供非事务服务，通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力
1.5 数据结构
图中的每个节点称为一个Znode
每个 Znode 由3部分组成:
stat：此为状态信息，描述该 Znode 的版本，权限等信息
data：与该Znode 关联的数据
children：该 Znode下的子节点
1.6 下载地址
官网首页：https://zookeeper.apache.org/
第2章 Zookeeper安装
2.1 本地模式安装部署
2.1.1 安装前准备
- 安装Jdk
- 拷贝Zookeeper安装包到Linux系统下
- 解压到指定目录
2.1.2 配置修改
-
将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg
-
打开zoo.cfg文件，修改dataDir路径
修改如下内容：
dataDir=/opt/module/zookeeper-3.4.10/zkData -
在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹
2.1.3 操作Zookeeper
-
启动Zookeeper：bin/zkServer.sh start
-
查看进程是否启动：jps
4020 Jps 4001 QuorumPeerMain -
查看状态：bin/zkServer.sh status
-
启动客户端：bin/zkCli.sh
ZooKeeper JMX enabled by default Using config: /opt/module/zookeeper 3.4.10/bin/../conf/zoo.cfg Mode: standalone -
退出客户端
[zk: localhost:2181(CONNECTED) 0] quit -
停止Zookeeper：bin/zkServer.sh stop
2.2 配置参数解读
Zookeeper中的配置文件zoo.cfg中参数含义解读如下：
-
tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
-
initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限
-
syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer
-
dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据
-
clientPort =2181：客户端连接端口
监听客户端连接的端口
第3章 Zookeeper实战
3.1 分布式安装部署
Zookeeper 集群搭建指的是 ZooK eeper 分布式模式安装，通常由2n+l台 servers 组成。这是因为为了保证 Leader 选举(基于Paxos 算法的实现)能过得到多数的支持，所以 Zookeeper集群的数量一般为奇数。 Zookeeper运行需要 java环境，所以需要提前安装jdk。对于安装leader+follower 模式的集群，大致过程如下:
-
集群规划
在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper
-
解压安装
解压Zookeeper安装包到/opt/module/目录下
-
配置服务器编号
A. 在/opt/module/zookeeper-3.4.10/这个目录下创建zkData
B. 在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件
C. 编辑myid文件
在文件中添加与server对应的编号： 1D. 拷贝配置好的zookeeper到其他机器上
并分别在hadoop02、hadoop03上修改myid文件中内容为2、3
-
配置zoo.cfg文件
A. 重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
B. 打开zoo.cfg文件，具体配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#########cluster######### server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888C. 同步zoo.cfg配置文件
C. 配置参数解读
server.A=B:C:D。A是一个数字，表示这个是第几号服务器
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server
B是这个服务器的IP地址
C是这个服务器与集群中的Leader服务器交换信息的端口
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口
-
集群操作
A. 分别启动Zookeeper：bin/zkServer.sh start
B. 查看状态：bin/zkServer.sh status
JMX enabled by default Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg Mode: follower 或 JMX enabled by default Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg Mode: leader 或 JMX enabled by default Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg Mode: follower
3.2 客户端命令行操作
| 命令基本语法 | 功能描述 |
|---|---|
| help | 显示所有操作命令 |
| ls path [watch] | 使用 ls 命令来查看当前znode中所包含的内容 |
| ls2 path [watch] | 查看当前节点数据并能看到更新次数等数据 |
| create | 普通创建 -s 含有序列 -e 临时（重启或者超时消失） |
| get path [watch] | 获得节点的值 |
| set | 设置节点的具体值 |
| stat | 查看节点状态 |
| delete | 删除节点 |
| rmr | 递归删除节点 |
| history | 查看历史命令 |
| redo | 该命令可以重新执行指定命令编号的历史命令，命令编号可以通过history查看 |
-
启动客户端：bin/zkCli.sh
-
显示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help -
查看当前znode中所包含的内容
[zk: localhost:2181(CONNECTED) 0] ls / [zookeeper] -
查看当前节点详细数据
[zk: localhost:2181(CONNECTED) 1] ls2 / [zookeeper] cZxid = 0x0 ctime = Thu Jan 01 08:00:00 CST 1970 mZxid = 0x0 mtime = Thu Jan 01 08:00:00 CST 1970 pZxid = 0x0 cversion = -1 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 0 numChildren = 1 -
分别创建2个普通节点
[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian" Created /sanguo [zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei" Created /sanguo/shuguo -
获得节点的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo jinlian cZxid = 0x100000003 ctime = Wed Aug 29 00:03:23 CST 2018 mZxid = 0x100000003 mtime = Wed Aug 29 00:03:23 CST 2018 pZxid = 0x100000004 cversion = 1 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 7 numChildren = 1 [zk: localhost:2181(CONNECTED) 6] [zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo liubei cZxid = 0x100000004 ctime = Wed Aug 29 00:04:35 CST 2018 mZxid = 0x100000004 mtime = Wed Aug 29 00:04:35 CST 2018 pZxid = 0x100000004 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 6 numChildren = 0 -
创建节点：create [-s] [e] path data acl
其中，-s或-e分别指定节点特性，顺序或临时节点，若不指定，则表示持久节点:acl用来进行权限控制
[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu" Created /sanguo/wuguoA. 在当前客户端是能查看到的
[zk: localhost:2181(CONNECTED) 3] ls /sanguo [wuguo, shuguo]B. 退出当前客户端然后再重启客户端
[zk: localhost:2181(CONNECTED) 12] quit [jinghang@hadoop104 zookeeper-3.4.10]$ bin/zkCli.shC. 再次查看根目录下短暂节点已经删除
[zk: localhost:2181(CONNECTED) 0] ls /sanguo [shuguo] -
创建带序号的节点
A. 先创建一个普通的根节点/sanguo/weiguo
[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao" Created /sanguo/weiguoB. 创建带序号的节点
[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian" Created /sanguo/weiguo/xiaoqiao0000000000 [zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian" Created /sanguo/weiguo/daqiao0000000001 [zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian" Created /sanguo/weiguo/diaocan0000000002如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推
-
修改节点数据值
[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi" -
节点的值变化监听
A. 在hadoop03主机上注册监听/sanguo节点数据变化
[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watchB. 在hadoop02主机上修改/sanguo节点的数据
[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"C. 观察hadoop03主机收到数据变化的监听
WATCHER:: WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo -
节点的子节点变化监听（路径变化）
A. 在hadoop03主机上注册监听/sanguo节点的子节点变化
[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch [aa0000000001, server101]B. 在hadoop02主机/sanguo节点上创建子节点
[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi" Created /sanguo/jinC. 观察hadoop03主机收到子节点变化的监听
WATCHER:: WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo -
删除节点
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin -
递归删除节点
[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo -
查看节点状态
[zk: localhost:2181(CONNECTED) 17] stat /sanguo cZxid = 0x100000003 ctime = Wed Aug 29 00:03:23 CST 2018 mZxid = 0x100000011 mtime = Wed Aug 29 00:21:23 CST 2018 pZxid = 0x100000014 cversion = 9 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 4 numChildren = 1 -
其他命令
-
对节点增加限制：setquota -n | -b val path
n：表示子节点的最大个数
b：表示数据值的最大长度
val：子节点最大个数以数据值的最大长度
path：节点路径
-
列出指定节点的 quota：listquota path
[zk: localhost:2181(CONNECTED) 10] listquota /school absolute path is /zookeeper/quota/school/zookeeper_limits Output quota for /school count=4,bytes=-1 Output stat for /school count=3,bytes=20子节点个数为4.数据长度-1表示没限制
-
删除 quota：delquota [-n|-b] path
[zk: localhost:2181(CONNECTED) 0] delquota -n /school [zk: localhost:2181(CONNECTED) 1] listquota /school absolute path is /zookeeper/quota/school/zookeeper_limits Output quota for /school count=-1,bytes=-1 Output stat for /school count=6,bytes=29 -
查看历史命令
[zk: localhost:2181(CONNECTED) 2] history 0 - delquota -n /school 1 - listquota /school 2 - history -
redo命令可以重新执行指定命令编号的历史命令
[zk: localhost:2181(CONNECTED) 4] history 0 - delquota -n /school 1 - listquota /school 2 - history 3 - help 4 - history [zk: localhost:2181(CONNECTED) 5] redo 3
-
3.3 API应用
3.3.1 IDEA环境搭建
-
创建一个Maven工程
-
添加pom文件
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version> </dependency> </dependencies> -
拷贝log4j.properties文件到项目根目录
需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
3.3.2 创建ZooKeeper客户端
private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181";
private static int sessionTimeout = 2000;
private ZooKeeper zkClient = null;
@Before
public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知后的回调函数（用户的业务逻辑）
System.out.println(event.getType() + "--" + event.getPath());
// 再次启动监听
try {
zkClient.getChildren("/", true);
} catch (Exception e) {
e.printStackTrace();
}
}
});
}
3.3.3 创建子节点
// 创建子节点
@Test
public void create() throws Exception {
// 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
String nodeCreated = zkClient.create("/jinghang", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
3.3.4 获取子节点并监听节点变化
// 获取子节点
@Test
public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
// 延时阻塞
Thread.sleep(Long.MAX_VALUE);
}
3.3.5 判断Znode是否存在
// 判断znode是否存在
@Test
public void exist() throws Exception {
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist");
}
第4章 Zookeeper内部原理
4.1 节点类型
-
永久(Persistent)：客户端和服务器端断开连接后，创建的节点不删除
-
临时(Ephemeral)：客户端和服务器端断开连接后，创建的节点自己删除
说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号时一个单调递增的计数器，由父节点维护
注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序
- 永久化目录节点：客户端与Zookeeper断开连接后，该节点依旧存在
- 永久化顺序编号目录节点：客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
- 临时目录节点：客户端与Zookeeper断开连接后，该节点被删除
- 临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
4.2 Stat结构体
-
czxid-创建节点的事务zxid
每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID
事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生
-
ctime - znode被创建的毫秒数(从1970年开始)
-
mzxid - znode最后更新的事务zxid
-
mtime - znode最后修改的毫秒数(从1970年开始)
-
pZxid-znode最后更新的子节点zxid
-
cversion - znode子节点变化号，znode子节点修改次数
-
dataversion - znode数据变化号（修改一次会加一）
-
ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0
-
dataLength- znode的数据长度
-
numChildren - znode子节点数量
4.3 选举机制
-
半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器
-
全新集群选举： 假设目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选举过程如下：
- 服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于LOOKING；
- 服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING；
- 服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为Follower；
- 服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为Follower；
- 服务器5启动，后面的逻辑同服务器4成为Follower
-
非全新集群选举 对于运行正常的zookeeper集群，中途有机器down掉，需要重新选举时，选举过程就需要加入数据ID、服务器ID和逻辑时钟。其中：
- 数据ID：数据新的version就大，数据每次更新都会更新version；
- 服务器ID：就是我们配置的myid中的值，每个机器一个；
- 逻辑时钟：这个值从0开始递增,每次选举对应一个值。 如果在同一次选举中,这个值是一致的。
这样选举的标准就变成：逻辑时钟小的选举结果被忽略，重新投票；统一逻辑时钟后，数据id大的胜出；数据id相同的情况下，服务器id大的胜出；根据这个规则选出leader。
4.4 监听器原理
监听原理详解：
- 首先要有一个main()线程
- 在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信(connet)，一个负责监听(listener)
- 通过connect线程将注册的监听事件发送给Zookeeper
- 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中
- Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程
- listener线程内部调用了process()方法
常见的监听：
-
监听节点数据的变化
get path [watch]
-
监听子节点增减的变化
ls path [watch]
4.5 写数据流程
第5章 监听服务器节点动态上下线案例
5.1 需求
某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线
5.2 需求分析
5.3 具体实现
-
先在集群上创建/servers节点
[zk: localhost:2181(CONNECTED) 10] create /servers "servers" Created /servers -
服务器端向Zookeeper注册代码
public class DistributeServer { private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers"; // 创建到zk的客户端连接 public void getConnect() throws IOException{ zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() { @Override public void process(WatchedEvent event) { } }); } // 注册服务器 public void registServer(String hostname) throws Exception{ String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); System.out.println(hostname +" is online "+ create); } // 业务功能 public void business(String hostname) throws Exception{ System.out.println(hostname + " is working ..."); Thread.sleep(Long.MAX_VALUE); } public static void main(String[] args) throws Exception { // 1获取zk连接 DistributeServer server = new DistributeServer(); server.getConnect(); // 2 利用zk连接注册服务器信息 server.registServer(args[0]); // 3 启动业务功能 server.business(args[0]); } } -
客户端代码
public class DistributeClient { private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers"; // 创建到zk的客户端连接 public void getConnect() throws IOException { zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() { @Override public void process(WatchedEvent event) { // 再次启动监听 try { getServerList(); } catch (Exception e) { e.printStackTrace(); } } }); } // 获取服务器列表信息 public void getServerList() throws Exception { // 1获取服务器子节点信息，并且对父节点进行监听 List<String> children = zk.getChildren(parentNode, true); // 2存储服务器信息列表 ArrayList<String> servers = new ArrayList<>(); // 3遍历所有节点，获取节点中的主机名称信息 for (String child : children) { byte[] data = zk.getData(parentNode + "/" + child, false, null); servers.add(new String(data)); } // 4打印服务器列表信息 System.out.println(servers); } // 业务功能 public void business() throws Exception{ System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE); } public static void main(String[] args) throws Exception { // 1获取zk连接 DistributeClient client = new DistributeClient(); client.getConnect(); // 2获取servers的子节点信息，从中获取服务器信息列表 client.getServerList(); // 3业务进程启动 client.business(); } }
1246
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
