Zookeeper特性与节点数据类型

在了解zookeeper之前，需要对分布式相关知识有一定了解，什么是分布式系统呢？通常情况下，单个物理节点很容易达到性能、计算或者容量的界限，这个时候就需要多个物理节点来共同完成某项任务。一个分布式系统的本质是分布在不同计算机或者网络的程序组件，彼此通过信息传递来协同工作的系统，而zookeeper正是一个分布式应用协调框架，在分布式系统中有广泛的应用场景。

1.什么是zookeeper？

官方文档上的解释是：zookeeper是一个分布式协调框架，是Apache Hadoop的一个子项目，主要是用来解决分布式应用中经常遇到的一些数据管理问题，例如：统一命名服务，状态同步服务，集群管理，分布式应用配置项等。

2.Zookeeper核心概念

可以把zookeeper当做一个应用于一个存储少量数据的基于内存的数据库，主要有两个核心概念：文件系统数据结构+监听通知机制。

2.1文件系统数据结构

zookeeper维护一个类似文件系统的数据结构

每个子目录项都被称为znode(目录节点)，类似于文件系统，我们能够自由的增加和删除znode并且可以在一个znode下增加删除znode。
有四种类型的znode：
1、PERSISTENT-持久化目录节点
客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在

2、 PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点
客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

3、EPHEMERAL-临时目录节点
客户端与zookeeper断开连接后，该节点被删除

4、EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点
客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
5. Container 节点（3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次）
6. TTL 节点( 默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定)

2.2监听通知机制

客户端注册监听它关心的任意节点或者目录节点以及递归子目录节点。

1.如果注册的是对某个节点的监听，则当这个节点被删除或者修改时，对应的客户端将被通知。
2.如果注册的是对某个目录的监听，则当这个目录有子节点创建或者删除时，对应的客户端将被通知。
3.如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化(子节点创建、删除)或者根节点有数据变化时，对应的客户端将被通知。
注意：所有的通知都是一次性的，无论对节点还是目录的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，并且每个子节点下面的事件也只能触发一次。

2.3zookeeper经典应用场景

• 分布式注册中心
• 分布式配置中心
• 分布式锁
• 分布式队列
• 集群选举
• 分布式屏障
• 发布/订阅

3.zookeeper实战

3.1. zookeeper安装

Step1：配置JAVA环境，检验环境：

java -version

Step2: 下载解压 zookeeper

wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
cd  apache-zookeeper-3.5.8-bin

Step3: 重命名配置文件 zoo_sample.cfg

 cp zoo_sample.cfg  zoo.cfg 

Step4: 启动zookeeper

# 可以通过 bin/zkServer.sh  来查看都支持哪些参数 
bin/zkServer.sh start conf/zoo.cfg

Step5: 检测是否启动成功

echo stat | nc 192.168.109.200 // 前提是配置文件中中讲 stat 四字命令设置了了白名单 
如：
4lw.commands.whitelist=stat

Step6: 连接服务器

bin/zkCli.sh -server ip:port 

3.2. 使用命令行操作zookeeper

1. 创建zookeeper 节点命令

create [-s] [-e] [-c] [-t ttl] path [data] [acl]

括号为可选项，没有则默认创建持久化节点
-s: 顺序节点
-e: 临时节点
-c: 容器节点
-t: 可以给节点添加过期时间，默认禁用，需要通过系统参数启用
（-Dzookeeper.extendedTypesEnabled=true, znode.container.checkIntervalMs : (Java system property only) New in 3.5.1: The time interval in milliseconds for each check of candidate container and ttl nodes. Default is “60000”.)
创建节点：

create  /test-node some-data

如上，没有加任何可选参数，创建的就是持久化节点

查看节点：

get  /test-node

修改节点数据：

set /test-node some-data-changed

查看节点状态信息：

stat /test-node 

Stat

• cZxid：创建znode的事务ID（Zxid的值）。
• mZxid：最后修改znode的事务ID。
• pZxid：最后添加或删除子节点的事务ID（子节点列表发生变化才会发生改变）。
• ctime：znode创建时间。
• mtime：znode最近修改时间。
• dataVersion：znode的当前数据版本。
• cversion：znode的子节点结果集版本（一个节点的子节点增加、删除都会影响这个版本）。
• aclVersion：表示对此znode的acl版本。
• ephemeralOwner：znode是临时znode时，表示znode所有者的 session ID。 如果znode不是临时znode，则该字段设置为零。
• dataLength：znode数据字段的长度。
• numChildren：znode的子znode的数量。
  创建子节点，zookeeper是以节点组织数据的，没有相对路径，所有的节点必须是以/开头

create /test-node/test-sub-node

查看子节点信息，加R可以查看递归子节点列表

ls /

查看 /test-node 下面所有的子节点

创建临时节点

create -e /ephemeral data 

create 后跟一个 -e 创建临时节点 ， 临时节点不能创建子节点

创建序号节点，加参数 -s

create    /seq-parent  data // 创建父目录，单纯为了分类，非必须
create -s /seq-parent/  data // 创建顺序节点。顺序节点将再seq-parent 目录下面，顺序递增

创建容器节点

create -c /container

容器节点主要用来容纳字节点，如果没有给其创建子节点，容器节点表现和持久化节点一样，如果给容器节点创建了子节点，后续又把子节点清空，容器节点也会被zookeeper删除

2. 事件监听机制：

针对节点的监听，事件一旦触发，对应的注册立即被移除，即事件监听是一次性的

get  -w  /path   // 注册监听的同时获取数据
stat -w /path   // 对节点进行监听，且获取元数据信息

针对目录的监听，如下图，，目录发生变化，，会触发事件，但对应的监听也会被立即移除，后续对节点的创建等不会触发监听事件

ls -w /path

针对递归子目录的监听

ls -R -w /path ： -R 区分大小写，一定用大写 

如下对/test 节点进行递归监听，但是每个目录下的目录监听也是一次性的，如第一次在/test 目录下创建节点时，触发监听事件，第二次则没有，同样，因为时递归的目录监听，所以在/test/sub0下进行节点创建时，触发事件，但是再次创建/test/sub0/subsub1节点时，没有触发事件

4.Zookeeper的ACL权限控制(Access Control List)

Zookeeper的ACL权限控制，可以控制节点的读写操作，保证数据的安全性。Zookeeper的ACL权限控制分为三部分：权限模式(Scheme)，授权对象(ID)，权限信息(Permission)，成一条例如“scheme🆔permission”格式的 ACL 请求信息。
Scheme（权限模式）：用来设置 ZooKeeper 服务器进行权限验证的方式。ZooKeeper 的权限验证方式大体分为两种类型：

一种是范围验证。所谓的范围验证就是说 ZooKeeper 可以针对一个 IP 或者一段 IP 地址授予某种权限。比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过“ip:192.168.0.1/24”给一段 IP 地址的机器赋权。

另一种权限模式就是口令验证，也可以理解为用户名密码的方式。在 ZooKeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后，ZooKeeper 服务端会对密码 部分使用 SHA-1 和 BASE64 算法进行加密，以保证安全性。

还有一种Super权限模式, Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端可以对 ZooKeeper 上的任意数据节点进行任意操作。

授权对象（ID）
授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。

权限信息（Permission）
权限就是指我们可以在数据节点上执行的操作种类，如下所示：在 ZooKeeper 中已经定义好的权限有 5 种：

数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置。
命令：
getAcl：获取某个节点的acl权限信息
setAcl：设置某个节点的acl权限信息
addauth: 输入认证授权信息，相当于注册用户信息，注册时输入明文密码，zk将以密文的形式存储
可以通过系统参数zookeeper.skipACL=yes进行配置，默认是no,可以配置为true, 则配置过的ACL将不再进行权限检测

生成授权ID的两种方式:

a.代码生成ID:

@Test
public void generateSuperDigest() throws NoSuchAlgorithmException {
    String sId = DigestAuthenticationProvider.generateDigest("gj:test");
    System.out.println(sId);//  gj:X/NSthOB0fD/OT6iilJ55WJVado=
}

b.在xshell 中生成

echo -n <user>:<password> | openssl dgst -binary -sha1 | openssl base64

设置ACL有两种方式

节点创建的同时设置ACL

create [-s] [-e] [-c]   path [data] [acl]

create /zk-node datatest digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa

用setAcl 设置

setAcl /zk-node  digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa

添加授权信息后，不能直接访问，直接访问将报如下异常

get /zk-node
异常信息:
org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /zk-node 

访问前需要添加授权信息

addauth digest gj:test
get /zk-node
datatest

另一种授权模式： auth 明文授权
使用之前需要先addauth digest username:password 注册用户信息，后续可以直接用明文授权
如：

addauth digest u100:p100
create /node-1 node1data auth:u100:p100:cdwra
这是u100用户授权信息会被zk保存，可以认为当前的授权用户为u100
get /node-1
node1data

IP授权模式：

setAcl /node-ip ip:192.168.109.128:cdwra
create /node-ip  data  ip:192.168.109.128:cdwra