一、Zookeeper–定义
它是一个分布式协调框架，是Apache Hadoop 的一个子项
目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同
步服务、集群管理、分布式应用配置项的管理等
二、Zookeeper 核心概念
下两个核心的概念：文件系统数据结构+监听通知机制
1.文件系统数据结构
Zookeeper维护一个类似文件系统的数据结构,如下图：
每个子目录项都被称作为 znode(目录节点)，和文件系统类似，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode
- 六种类型的znode
- PERSISTENT持久化目录节点
客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在 - PERSISTENT_SEQUENTIAL持久化顺序编号目录节点
客户端与zookeeper断开连接后，该节点依旧存在，Zookeeper给该节点名称进行顺序编号 - EPHEMERAL临时目录节点
客户端与zookeeper断开连接后，该节点被删除 - EPHEMERAL_SEQUENTIAL临时顺序编号目录节点
客户端与zookeeper断开连接后，该节点被删除，Zookeeper给该节点名称进行顺序编号 - Container 节点
3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次 - TTL 节点
默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定
- PERSISTENT持久化目录节点
| znode | 说明 |
|---|---|
| 持久化节点 | 一旦创建，永久存在 |
| 持久化顺序节点 | 在持久化节点的基础上，每次创建节点会创建一个顺序序号 |
| 临时节点 | session超时，会被服务器删除 |
| 临时顺序节点 | 在临时节点的基础上，每次创建会创建一个顺序序号 |
| 容器节点 | 当没有子节点时，一定时间后会被服务器删除 |
| TTL节点 | 过了TTL指定的时间，会被服务器删除 |
2.监听通知机制
客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点
- 如果注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知
- 如果注册的是对某个目录的监听，则当这个目录有子节点被创建，或者有子节点被删除，对应的客户端将被通知
- 如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知
- 所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次
3.Zookeeper 经典的应用场景
- 分布式配置中心
- 分布式注册中心
- 分布式锁
- 分布式队列
- 集群选举
- 分布式屏障
- 发布/订阅
三、Zookeeper 的 ACL 权限控制( Access Control List )
Zookeeper 的ACL 权限控制,可以控制节点的读写操作,保证数据的安全性，Zookeeper ACL 权限设置分为 3 部分组成，分别是：权限模式（Scheme）、授权对象（ID）、权限信息（Permission）。最终组成一条例如“scheme🆔permission”格式的 ACL 请求信息
- Scheme（权限模式）：用来设置 ZooKeeper 服务器进行权限验证的方式。ZooKeeper 的权限验证方式大体分为两种类型
-
范围验证
范围验证就是说 ZooKeeper 可以针对一个 IP 或者一段 IP 地址授予某种权限。比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节种权限。比如我们可以让一个 IP 地址为“ip192.168.0.110”的机器对服务器上的某个数据节种权限。比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节 -
口令验证
也可以理解为用户名密码的方式。在 ZooKeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后，ZooKeeper 服务端会对密码 部分使用 SHA-1 和 BASE64 算法进行加密，以保证安全性 -
Super权限模式
Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端可以对 ZooKeeper 上的任意数据节点进行任意操作
-
授权对象（ID）
授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户 -
权限信息（Permission）
权限就是指我们可以在数据节点上执行的操作种类，如下所示：在 ZooKeeper 中已经定义好的权限有 5 种- 数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点
- 数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点
- 数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息
- 数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点
- 数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置
1、使用命令
getAcl：获取某个节点的acl权限信息
setAcl：设置某个节点的acl权限信息
addauth: 输入认证授权信息，相当于注册用户信息，注册时输入明文密码，zk将以密文的形式存储
可以通过系统参数zookeeper.skipACL=yes进行配置，默认是no,可以配置为true, 则配置过的ACL将不再进行权限检测
生成授权ID的两种方式
- 代码生成ID
@Test
public void generateSuperDigest() throws NoSuchAlgorithmException {
String sId = DigestAuthenticationProvider.generateDigest("gj:test");
System.out.println(sId);// gj:X/NSthOB0fD/OT6iilJ55WJVado=
}
- 在xshell 中生成
echo ‐n <user>:<password> | openssl dgst ‐binary ‐sha1 | openssl base64
- 设置ACL有两种方式
- 节点创建的同时设置ACL
create [-s] [-e] [-c] path [data] [acl]
create /zk‐node datatest digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa
添加授权信息后，不能直接访问，直接访问将报如下异常
get /zk‐node
//异常
org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth
for /zk‐node
访问前需要添加授权信息
addauth digest gj:test
get /zk‐node
datatest
- auth 明文授权
addauth digest username:password 注册用户信息，后续可以直接用明文授权
addauth digest u100:p100
create /node‐1 node1data auth:u100:p100:cdwra //这是u100用户授权信息会被zk保存，可以认为当前的授权用户为u100
get /node‐1
node1data
- IP授权模式
setAcl /node‐ip ip:192.168.109.128:cdwra
create /node‐ip data ip:192.168.109.128:cdwra
多个指定IP可以通过逗号分隔， 如 setAcl /node-ip ip:IP1:rw,ip:IP2:a
- Super 超级管理员模式
这是一种特殊的Digest模式， 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作
需要在启动了上通过JVM 系统参数开启
DigestAuthenticationProvider中定义
‐Dzookeeper.DigestAuthenticationProvider.superDigest=super:<base64encoded(SHA1(password))
四、ZooKeeper 内存数据和持久化
- Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的，是一个基于内存的小型数据库
public class DataTree {
private final ConcurrentHashMap<String, DataNode> nodes =
new ConcurrentHashMap<String, DataNode>();
private final WatchManager dataWatches = new WatchManager();
private final WatchManager childWatches = new WatchManager();
- DataNode 是Zookeeper存储节点数据的最小单位
public class DataNode implements Record {
byte data[];
Long acl;
public StatPersisted stat;
private Set<String> children = null;
五、事务日志
-
针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中，当然，Zookeeper也会将数据变更应用到内存数据库中。我们可以在zookeeper的主配置文件zoo.cfg 中配置内存中的数据持久化目录，也就是事务日志的存储路径 dataLogDir. 如果没有配置dataLogDir（非必填）, 事务日志将存储到dataDir （必填项）目录
-
zookeeper提供了格式化工具可以进行数据查看事务日志数据
-
org.apache.zookeeper.server.LogFormatter
java ‐classpath .:slf4j‐api‐1.7.25.jar:zookeeper‐3.5.8.jar:zookeeper‐jute‐
3.5.8.jar org.apache.zookeeper.server.LogFormatter /usr/local/zookeeper/apache‐zo
okeeper‐3.5.8‐bin/data/version‐2/log.1
- 日志文件格式化效果
从左到右分别记录了操作时间，客户端会话ID，CXID,ZXID,操作类型，节点路径，节点数据（用#+ascii 码表示），节点版本
Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek。因此，为了提升磁盘IO的效率,Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数zookeeper.preAllocSize 进行配置
事务日志文件名为： log.<当时最大事务ID>，应为日志文件时顺序写入的，所以这个最大事务，最小的事务ID，日志满了即进行下一次事务日志文件的创建
六、数据快照
-
数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。可以通过配置
snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中
可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到[snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )]个数时开始快照） -
快照事务日志文件名为：
snapshot.<当时最大事务ID>，日志满了即进行下一次事务日志文件的创建 -
快照数据主要时为了快速恢复， 事务日志文件是每次事务请求都会进行追加的操作，而快照是达到某种设定条件下的内存全量数据。所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据，所以恢复数据的时候，可以先恢复快照数据，再通过增量恢复事务日志中的数据即可
202
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
