zookeeper - 1

zookeeper 基础入门：

1. zookeeper概述：Zookeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。诸如：统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。
2. zookeeper的特性：
   • 全局数据一致性：集群中每个服务器保存一份相同的数据副本，client 无论连接到哪个服务器，展示的数据都是一致的，（这是最重要的特征）
   • 可靠性：如果消息被其中一台服务器接受，那么将被所有的服务器接受
   • 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息 a 在消息 b 前发布，则在所有 Server 上消息 a 都将在消息 b 前被发布；偏序是指如果一个消息 b 在消息 a 后被同一个发送者发布，a 必将排在 b 前面。
   • 数据更新原子性：一次数据更新要么成功（半数以上节点成功），要么失败，不存在中间状态
   • 实时性：Zookeeper 保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息
3. zookeeper中的集群角色 zookeeper集群中有三种角色（zookeeper服务器节点），它们分别是：群首（leader），追随者（follower），观察者（observer）
   
   • Leader：顾名思义就是Zookeeper 集群工作的核心 事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性 对于 create，setData，delete 等有写操作的请求，则需要统一转发给leader 处理，leader 需要决定编号、执行操作，这个过程称为一个事务
   • Follower: 处理客户端非事务（读操作）请求，转发事务请求给 Leader 参与集群 Leader 选举投票
   • Observer: 观察者角色，观察 Zookeeper 集群的最新状态变化并将这些状态同步过来，其对于非事务请求可以进行独立处理，对于事务请求，则会转发给 Leader服务器进行处理 不会参与任何形式的投票只提供非事务服务 （也就是和 Follower中的一点区别），通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力
4. zookeeper的安装 和 集群搭建：
   • zookeeper在windows下的安装非常简单 配置的步骤 和 Linux下的也是大同小异 这里就注重 Linux下的安装 和配置步骤：
     • 解压zookeeper-3.4.5.tar.gz 在zookeeper-3.4.5目录中创建data目录，用来存放注册数据
     • 进入到conf目录，把zoo_sample.cfg文件改名为zoo.cfg.（要是不进行修改不能启动zookeeper 会找不到zoo.cfg文件）
     • .编辑zoo.cfg ,修改datadir=/temp/zookeeper,将路径修改为data目录所在路径 这里是 改成dataDir=../data 端口等其余的配置保持默认即可
     • 运行zookeeper服务 要是在windows中 运行的是zkServer.cmd 在Linux中运行的是zkServer.sh
   • zookeeper是一个分布式的文件存储系统 单机版是不能体现它的强大之处的 一般都是进行集群的搭建 搭建的步骤：（这里是搭建Leader + Follower模式的 集群）

     • 搭建集群需要的环境：准备Java运行环境，确保JDK版本在1.6+ 在Linux环境下使用 java -version进行Java版本的查看

     • 下载ZooKeeper压缩包，解压到/usr/local/dev目录下 进入解压的conf目录下，拷贝zoo_sample.cfg文件并重命名zoo.cfg，配置如下 这里的配置文件和 单机版有所不同：在这里插入代码片

       tickTime=2000
       initLimit=10
       syncLimit=5
       dataDir=../data
       server.1=1.1.1.1:2181:3181
       server.2=1.1.1.2:2181:3181
       server.3=1.1.1.3:2181:3181
       
       

       • 集群模式下，集群中的每台机器要相互认识和通信，因此需要配置集群的标识：server.id=host:port:port，其中，id被称为Server ID用来标识该机器在集群中的机器序号，同时，需要在dataDir指定的目录中创建myid文件，文件内容是本机所对应的Server ID数字
       • 在ZooKeeper设计中，集群中所有机器上的zoo.cfg文件的内容都应该是一致的，因此可以用svn或git把此文件管理起来，确保每个机器都能共享到一份相同的配置。
       • Server ID的范围是 1~255，那么myid的值也在该范围内。例如上面server.2的Server ID是2，那么myid文件内容就是2
       • zookeeper集群通常由 2n+1台 servers 组成 这是因为为了保证 Leader 选举（基于 Paxos 算法的实现）能过得到多数的支持，所以 ZooKeeper 集群的数量一般为奇数
       • 如果要想使用 Observer 模式，可在对应节点的配置文件添加如下配置：peerType=observer 其次，必须在配置文件指定哪些节点被指定为 Observer，如：server.1:localhost:2181:3181:observer

     • 启动 ZooKeeper 集群

5. zookeeper客户端连接：运行 zkCli.sh –server ip 进行连接
   • 客户端基本操作：

     • 创建节点：（zookeeper中的节点既有目录的特性 也有文件的特性）create [-s] [-e] path data [acl] 其中，-s 或-e 分别指定节点特性 -s 指定序列化特性 -e 指定的是临时节点，若不指定，则表示非序列化持久节点 acl 用来进行权限控制（这样的话一共是四种节点）

       • 创建顺序节点：
         
       • 创建临时节点：
         
       • 创建永久节点：
         

     • 读取节点：与读取相关的命令有 ls 命令和 get 命令，ls 命令可以列出 Zookeeper 指定节点下的所有子节点，只能查看指定节点下的第一级的所有子节点；get 命令可以获取 Zookeeper 指定节点的数据内容和属性信息

       • ls 命令： ls path [watch] 和Linux不同的是path是必须的
         
       • get命令：
         
       • ls2 命令：
         
       • stat命令： 和 get命令不同的是 不输出节点的数据 只输出状态信息
         

     • 更新节点数据：set path data [version] data表示的是节点的数据 version表示的是数据版本
       

     • 删除节点：删除节点 delete path [version]若删除节点存在子节点，那么无法删除该节点，必须先删除子节点，再删除父节点 另一种方式 rmr path 可以递归删除节点

       • delete 命令：只能删除空节点 就像是Linux命令中 rmdir命令 只能删除空目录
         
       • rmr 命令 进行递归删除 就像是 Linux命令中的rm -r 一样 进行递归删除
         

     • 设置限制：quota setquota -n|-b val path 对节点增加限制 需要注意的是：quota是一个软性的限制 超出限制只会报一个警告
       

       • n:表示子节点的最大个数
       • b:表示数据值的最大长度
       • val:子节点最大个数或数据值的最大长度
       • path:节点路径

     • listquota path 列出指定节点的 quota 子节点个数为 2,数据长度-1 表示没限制
       

     • 删除限制：delquota path 删除 quota
       

     • 其他命令： history 和 redo命令
       加粗样式
       redo + 序号：该命令可以重新执行指定命令编号的历史命令,命令编号可以通过history 查看

6. zookeeper数据模型：ZooKeeper 的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间，都是采用树形层次结构，ZooKeeper 树中的每个节点被称为—Znode 和文件系统的目录树一样，ZooKeeper 树中的每个节点可以拥有子节点
   • zookeeper 和 文件系统目录树不同：
     • Znode 兼具文件和目录两种特点：既像文件一样维护着数据、元信息、ACL、时间戳等数据结构，又像目录一样可以作为路径标识的一部分，并可以具有子 Znode。用户对 Znode 具有增、删、改、查等操作（权限允许的情况下）
     • Znode 具有原子性操作：读操作将获取与节点相关的所有数据，写操作也将替换掉节点的所有数据。另外，每一个节点都拥有自己的 ACL(访问控制列表)，这个列表规定了用户的权限，即限定了特定用户对目标节点可以执行的操作
     • Znode 存储数据大小有限制：ZooKeeper 虽然可以关联一些数据，但并没有被设计为常规的数据库或者大数据存储，相反的是，它用来管理调度数据，比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的共同特性就是它们都是很小的数据，通常以 KB 为大小单位。ZooKeeper 的服务器和客户端都被设计为严格检查并限制每个 Znode 的数据大小至多 1M，当时常规使用中应该远小于此值
     • Znode 通过路径引用：如同 Unix 中的文件路径 路径必须是绝对的，因此他们必须由斜杠字符来开头 除此以外，他们必须是唯一的，也就是说每一个路径只有一个表示，因此这些路径不能改变。在 ZooKeeper 中，路径由Unicode 字符串组成，并且有一些限制。字符串"/zookeeper"用以保存管理信息，比如关键配额信息
   • zookeeper数据结构图：
     

     • 图中的每个节点称为一个 Znode 每个 Znode 由 3 部分组成:

       • stat：此为状态信息, 描述该 Znode 的版本, 权限等信息
       • data：与该 Znode 关联的数据
       • children：该 Znode 下的子节点

     • 节点类型：Znode 有两种，分别为临时节点和永久节点节点的类型在创建时即被确定，并且不能改变 使用 -e参数指定

       • 临时节点：该节点的生命周期依赖于创建它们的会话。一旦会话结束，临时节点将被自动删除，当然可以也可以手动删除 临时节点不允许拥有子节点
       • 永久节点：该节点的生命周期不依赖于会话，并且只有在客户端显示执行删除操作的时候，他们才能被删除
       • Znode 还有一个序列化的特性，如果创建的时候指定的话，该 Znode 的名字后面会自动追加一个不断增加的序列号。序列号对于此节点的父节点来说是唯一的，这样便会记录每个子节点创建的先后顺序 它的格式为“%10d” （十位数 没有数值的用零进行填充）存在四种类型的 Znode 节点，分别对应：
         • PERSISTENT：永久节点
         • EPHEMERAL：临时节点
         • PERSISTENT_SEQUENTIAL：永久节点、序列化
         • EPHEMERAL_SEQUENTIAL：临时节点、序列化

     • 节点属性 使用 get 或者是 stat 命令进行获取
       
       属性详解：

       • cZxid ：Znode 创建的事务 id。
       • ctime：节点创建时的时间戳.
       • mZxid ：Znode 被修改的事务 id，即每次对 znode 的修改都会更新 mZxid。对于 zookeeper 来说，每次的变化都会产生一个唯一的事务 id zxid（ZooKeeper Transaction Id）zxid就是一个全局有序的时间戳 通过 zxid，可以确定更新操作的先后顺序 ID越小 操作越先 zxid 对于整个 zookeeper 都是唯一的 即使操作的是不同的 znode
       • mtime：节点最新一次更新发生时的时间戳.
       • pZxid：是与 该节点的子节点（或该节点）的最近一次 创建 / 删除 的时间戳对应 （注：只与 本节点 / 该节点的子节点有关 与孙子节点无关
       • cversion ：子节点的版本号。当 znode 的子节点有变化时，cversion 的值就会增加 1
       • dataVersion：数据版本号，每次对节点进行 set 操作，dataVersion 的值都会增加 1（即使设置的是相同的数据），可有效避免了数据更新时出现的先后顺序问题
       • aclVersion ：节点所拥有的ACL 的版本号
       • ephemeralOwner: 如果该节点为临时节点, ephemeralOwner 值表示与该节点绑定的 session id（会话id）. 如果不是, ephemeralOwner 值为 0 zookeeper中 client 和 server 进行通信需要建立连接 这个连接 就是session
       • dataLength：表示的是节点中数据长度
       • numChildren：子节点的个数
7. zookeeper watcher：
   • 概述：ZooKeeper 中，引入了 Watcher 机制来实现分布式的通知功能 ZooKeeper 允许客户端向服务端注册一个 Watcher 监听，当服务端的一些事件触发了这个 Watcher 那么就会向指定客户端发送一个事件通知来实现分布式的通知功能 触发事件种类很多，如：节点创建，节点删除，节点改变，子节点改变等 总的来说可以概括 Watcher 为以下三个过程：客户端向服务端注册 Watcher、服务端事件发生触发 Watcher、客户端回调 Watcher 得到触发事件情况
   • watch机制的特点：
     • 一次性触发： 事件发生触发监听，一个 watcher event 就会被发送到设置监听的客户端，这种效果是一次性的，后续再次发生同样的事件，不会再次触发
     • 事件封装 ：ZooKeeper 使用 WatchedEvent 对象来封装服务端事件并传递 WatchedEvent 包含了每一个事件的三个基本属性：通知状态（keeperState），事件类型（EventType）和节点路径（path）
       • 常见的通知状态 和 节点类型
         
     • event 异步发送 watcher 的通知事件从服务端发送到客户端是异步的
     • 先注册再触发 Zookeeper 中的 watch 机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端