Zookeeper-简单使用

什么是Zookeeper

官方文档上这么解释zookeeper，它是一个分布式协调框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

Zookeeper核心概念

上面的解释有点抽象，同学们暂时可以理解为 Zookeeper 是一个用于存储少量数据的基于内存的数据库，主要有如下两个核心的概念：文件系统数据结构+监听通知机制

Zookeeper 节点类型

• PERSISTENT-持久化节点：客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在
• PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点：客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
• EPHEMERAL-临时目录节点：客户端与zookeeper断开连接后，该节点被删除
• EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点：客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
• Container 节点：3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次
• TTL 节点：默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定

监听通知机制

客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点

1. 如果注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知。
2. 如果注册的是对某个目录的监听，则当这个目录有子节点被创建，或者有子节点被删除，对应的客户端将被通知，但是子节点的数据变化不会通知。
3. 如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知。

注意：所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次。

命令行操作zookeeper

创建节点命令

create [-s] [-e] [-c] [-t ttl] path [data] [acl]

-s: 顺序节点
-e: 临时节点
-c: 容器节点
-t: 可以给节点添加过期时间，默认禁用，需要通过系统参数启用(-Dzookeeper.extendedTypesEnabled=true)

获取节点命令

get [-s] [-w] pat

-s: 获取同时获取这个path节点的 stat
-w: 获取节点的同时对这个节点进行watch监听

修改节点数据命令

set [-s] [-v version] path data

-s: 设置同时获取这个path节点的 stat
-v: 带着版本号去设置节点，如果版本（dataVersion）不匹配，不能设置

节点状态信息查看

stat [-w] path

-w:查看状态同时进行watch监听

查看目录

ls [-s] [-w] [-R] path

-s: 查看目录下的节点并且返回这个节点的状态信息
-w: 查看目录下的节点 并且 对这个目录监视
-R: 递归查看这个目录
-R -w : 递归监控所有节点

Zookeeper 的 ACL 权限控制( Access Control List ）

方式一：口令验证

creat path data user:pass:uuid:权限

权限有：

• 数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
• 数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
• 数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
• 数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
• 数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置

方式二：auth 明文授权

• 使用之前我们需要先登陆：addauth digest username:password

create /node-1 node1data auth:u100:p100:cdwra

ZooKeeper 内存数据和持久化

Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的，所以我们可以认为，Zookeeper是一个基于内存的小型数据库

内存中的数据

public class DataTree {
    private final ConcurrentHashMap<String, DataNode> nodes =
        new ConcurrentHashMap<String, DataNode>();
        
        
    private final WatchManager dataWatches = new WatchManager();
    private final WatchManager childWatches = new WatchManager();

DataNode 是zookeeper的最小单位

public class DataNode implements Record {
    byte data[];
    Long acl;
    public StatPersisted stat;
    private Set<String> children = null;

事务日志

针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中，当然，Zookeeper也会将数据变更应用到内存数据库中。我们可以在zookeeper的主配置文件zoo.cfg 中配置内存中的数据持久化目录，也就是事务日志的存储路径 dataLogDir. 如果没有配置dataLogDir（非必填）, 事务日志将存储到dataDir （必填项）目录，
zookeeper提供了格式化工具可以进行数据查看事务日志数据

Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek。因此，为了提升磁盘IO的效率，Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数 zookeeper.preAllocSize 进行配置。

数据快照

数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。
可以通过配置snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中，
可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到 [snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )] 个数时开始快照）
注意：会有一个线程去单独工作，清除一部分多余的快照，而且快照数据会比较快速的同步数据功能