zookeeper

一、zookeeper应用场景

zooKeeper是一个经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调存储服务。

• 维护配置信息
• 分布式锁服务
• 集群管理
• 生成分布式唯一ID

二、zookeeper数据模型

zookeeper的数据节点可以视为树状结构（或者目录），树中的各节点被称为znode（即zookeeper node），一个znode可以有多个子节点。zookeeper节点在结构上表现为树状。

1.节点状态stat的属性

属性	说明
cZxid	数据节点创建时的事务 ID
ctime	数据节点创建时的时间
mZxid	数据节点最后一次更新时的事务 ID
mtime	数据节点最后一次更新时的时间
pZxid	数据节点的子节点最后一次被修改时的事务 ID
cversion	子节点的更改次数
dataVersion	节点数据的更改次数
aclVersion	节点的 ACL 的更改次数
ephemeralOwner	如果节点是临时节点，则表示创建该节点的会话的
SessionID	如果节点是持久节点，则该属性值为 0
dataLength	数据内容的长度
numChildren	数据节点当前的子节点个数

2.节点类型

zookeeper中的节点有两种，分别为临时节点和永久节点。节点的类型在创建时即被确定，并且不能改变。

• 临时节点：该节点的生命周期依赖于创建它们的会话。一旦会话(Session)结束，临时节点将被自动删除，当然可以也可以手动删除。虽然每个临时的Znode都会绑定到一个客户端会话，但他们对所有的客户端还是可见的。另外，ZooKeeper的临时节点不允许拥有子节点。
• 持久化节点：该节点的生命周期不依赖于会话，并且只有在客户端显示执行删除操作的时候，他们才能被删除

三、zookeeper常用命令

1. 新增节点

语法： create [-s] [-e] path data #其中-s 为有序节点，-e 临时节点
** 例子：** create /node1 “123456”

2. 更新节点

也可以基于版本号进行更改，此时类似于乐观锁机制，当你传入的数据版本号(dataVersion) 和当前节点的数据版本号不符合时，zookeeper 会拒绝本次修改

** 语法：** set path data
例子： set /node1 “123”

3. 删除节点

和更新节点数据一样，也可以传入版本号，当你传入的数据版本号 (dataVersion)和当前节点的数据版本号不符合时，zookeeper 不会执行删除操作。

语法： delete path [version]
例子：delete /node1 0

4. 查看节点

语法： get path
**例子：**get /node1

5. 查看节点列表

查看节点列表有 ls path 和 ls2 path 两个命令，后者是前者的增强，不仅可以查看指定路径下的所有节点，还可以查看当前节点的信息

6. 监听器 get path [watch]

使用 get path [watch] 注册的监听器能够在节点内容发生改变的时候，向客户端发出通知。需要注意的是 zookeeper 的触发器是一次性的 (One-time trigger)，即触发一次后就会立即失效。

[zk: localhost:2181(CONNECTED) 4] get /node1 watch
[zk: localhost:2181(CONNECTED) 5] set /node1 45678
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/node1 #节点值改变

7. 监听器 stat path [watch]

使用 stat path [watch] 注册的监听器能够在节点状态发生改变的时候，向客户端发出通知

[zk: localhost:2181(CONNECTED) 7] stat /node1 watch
[zk: localhost:2181(CONNECTED) 8] set /node1 987
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/hadoop #节点值改变

8. 监听器ls\ls2 path [watch]

使用 ls path [watch] 或 ls2 path [watch] 注册的监听器能够监听该节点下所有子节点的增加和删除操作。
[zk: localhost:2181(CONNECTED) 9] ls /node1 watch
[]
[zk: localhost:2181(CONNECTED) 10] create /node1/yarn “aaa”
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/node1

四、zookeeper的acl权限控制

1. 概述

zookeeper 类似文件系统，client 可以创建节点、更新节点、删除节点，那么如何做到节点的权限的控制呢？zookeeper的access control list 访问控制列表可以做到这一点。

• **权限模式（scheme）：**授权的策略
• **授权对象（id）：**授权的对象
  *** 权限（permission）：**授予的权限

2. 特性

• zooKeeper的权限控制是基于每个znode节点的，需要对每个节点设置权限
• 每个znode支持设置多种权限控制方案和多个权限
• 子节点不会继承父节点的权限，客户端无权访问某节点，但可能可以访问它的子节点

五、权限模式

方案	描述
world	只有一个用户：anyone，代表登录zokeeper所有人（默认）
ip	对客户端使用IP地址认证
auth	使用已添加认证的用户认证
digest	使用“用户名:密码”方式认证

六、权限描述

权限	ACL简写	描述
create	c	可以创建子节点
delete	d	可以删除子节点（仅下一级节点）
read	r	可以读取节点数据及显示子节点列表
write	w	可以设置节点数据
admin	a	可以设置节点访问控制列表权限

七、授权命令

命令	描述
getAcl	读取ACL权限
setAcl	设置ACL权限
addauth	添加认证用户

1. world授权模式

**语法：**setAcl world:anyone:
例子：[zk: localhost:2181(CONNECTED) 1] create /node1 “node1”
Created /node1
[zk: localhost:2181(CONNECTED) 2] getAcl /node1
'world,'anyone #world方式对所有用户进行授权
: cdrwa #增、删、改、查、管理

2. IP授权模式

**语法：setAcl ip::
** 例子： [zk: localhost:2181(CONNECTED) 18] create /node2 “node2”
Created /node2
[zk: localhost:2181(CONNECTED) 23] setAcl /node2
ip:192.168.60.129:cdrwa
cZxid = 0xe
ctime = Fri Dec 13 22:30:29 CST 2019
mZxid = 0x10
mtime = Fri Dec 13 22:33:36 CST 2019
pZxid = 0xe
cversion = 0
dataVersion = 2
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 20
numChildren = 0

3. Auth授权模式

addauth digest : #添加认证用户
setAcl auth::

[zk: localhost:2181(CONNECTED) 2] create /node3 “node3”
Created /node3
#添加认证用户
[zk: localhost:2181(CONNECTED) 4] addauth digest itcast:123456
[zk: localhost:2181(CONNECTED) 1] setAcl /node3 auth:itcast:cdrwa
cZxid = 0x15
ctime = Fri Dec 13 22:41:04 CST 2019
mZxid = 0x15
mtime = Fri Dec 13 22:41:04 CST 2019
pZxid = 0x15
cversion = 0
dataVersion = 0
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: localhost:2181(CONNECTED) 0] getAcl /node3
'digest,'itcast:673OfZhUE8JEFMcu0l64qI8e5ek=
: cdrwa
#添加认证用户后可以访问
[zk: localhost:2181(CONNECTED) 3] get /node3
node3
cZxid = 0x15
ctime = Fri Dec 13 22:41:04 CST 2019
mZxid = 0x15
mtime = Fri Dec 13 22:41:04 CST 2019
pZxid = 0x15
cversion = 0
dataVersion = 0
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0

4. Digest授权模式

** 语法：**setAcl digest:::
这里的密码是经过SHA1及BASE64处理的密文，在SHELL中可以通过以下命令计算：
echo -n : | openssl dgst -binary -sha1 | openssl base64
echo -n admin:123456 | openssl dgst -binary -sha1 | openssl base64

八、acl 超级管理员

zookeeper的权限管理模式有一种叫做super，该模式提供一个超管可以方便的访问任何权限的节点

假设这个超管是：super:admin，需要先为超管生成密码的密文

echo -n super:admin | openssl dgst -binary -sha1 | openssl base64

那么打开zookeeper目录下的/bin/zkServer.sh服务器脚本文件，找到如下一行：

nohup $JAVA"-Dzookeeper.log.dir=${ZOO_LOG_DIR}" “-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}”

这就是脚本中启动zookeeper的命令，默认只有以上两个配置项，我们需要加一个超管的配置项

“-Dzookeeper.DigestAuthenticationProvider.superDigest=super:xQJmxLMiHGwaqBvst5y6rkB6HQs=”

之后启动zookeeper,输入如下命令添加权限

addauth digest super:admin #添加认证用户