一篇搞懂zookeeper

简介

简介

ZooKeeper是一个开放源代码的分布式协调服务
ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用

存在的原因

随着分布式架构的出现，越来越多的分布式应用会面临数据一致性问题
很遗憾的是，在解决分布式数据一致性上，除了ZooKeeper之外，目前还没有一个成熟稳定且被大规模应用的解决方案

优点

ZooKeeper是免费的
广泛应用：诸如Hadoop、HBase、Storm、kafka等越来越多的大型分布式项目都将Zookeeper作为核心组件
       

安装

Docker安装

安装
拉取镜像
docker pull zookeeper:3.5.9

创建容器
docker run --name zk -d -p 2181:2181 zookeeper:3.5.9

进入客户端
进入容器
docker exec -it zk /bin/bash
进入客户端
cd bin
zkCli.sh
        

核心

集群角色

简介
通常在分布式系统中，构成一个集群的每一台机器都有自己的角色，最典型的集群模式就是Master/Slave模式（主备模式)
在这种模式中，我们把能够处理所有写操作的机器称为Master机器，把所有通过异步复制方式获取最新数据，并提供读服务的机器称为Slave机器

概念颠覆
而在ZooKeeper中，这些概念被颠覆了。它没有沿用传统的MasterlSlave概念，而是引入了Leader、Follower和 Observer三种角色

数据节点

简介
在谈到分布式的时候，我们通常说的“节点”是指组成集群的每一台机器
在ZooKeeper中节点分为两类：
第一类同样是指构成集群的机器，我们称之为机器节点
第二类则是指数据模型中的数据单元，我们称之为数据节点——ZNode

数据模型
在Zookeeper中，可以说 Zookeeper中的所有存储的数据是由znode组成的，节点也称为znode，并以key/value形式存储数据
ZooKeeper将所有数据存储在内存中，数据模型是一棵树

保存数据
以 key/value 形式存储数据，key就是znode的节点路径，比如 /java , /server

节点特性
持久节点
持久节点是zookeeper中最常见的一种节点类型。所谓持久节点，是指改数据节点被创建后，
就会一直存在与zookeeper服务器上，直到有删除操作来主动清除这个节点

持久顺序节点
这类节点的基本特性和上面的节点类型是一致的。额外的特性是，在ZK中，
每个父节点会为他的第一级子节点维护一份时序，会记录每个子节点创建的先后顺序

临时节点
从名称上可以看出该节点的一个最重要的特性就是临时性。
所谓临时性是指，如果将节点创建为临时节点，那么该节点数据不会一直存储在 ZooKeeper 服务器上
和持久节点不同的是，临时节点的生命周期和客户端会话绑定。也就是说，如果客户端会话失效，那么这个节点就会自动被清除掉注意，
这里提到的是会话失效，而非连接断开。另外，在临时节点下面不能创建子节点

临时顺序节点
临时顺序节点的基本特性和临时节点是一致的，同样是在临时节点的基础上，添加了顺序的特性

Watcher监听机制

简介
ZooKeeper 提供了分布式数据的发布/订阅功能。一个典型的发布/订阅模型系统定义了一种一对多的订阅关系,
能够让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使它们能够做出相应的处理
在ZooKeeper中，引入了Watcher机制来实现这种分布式的通知功能。ZooKeeper 允许客户端向服务端注册一个Watcher监听，
当服务端的一些指定事件触发了这个Watcher，那么就会向指定客户端发送一个事件通知来实现分布式的通知功能

ACL权限控制

注意
ZooKeeper的权限控制是基于每个znode节点的，需要对每个节点设置权限
每个znode支持设置多种权限控制方案和多个权限
子节点不会继承父节点的权限，客户端无权访问某节点，但可能可以访问它的子节点

权限模式【Schema】
world    只有一个用户：anyone，代表所有人（默认）
ip    使用IP地址认证
auth    使用已添加认证的用户认证
digest    使用“用户名:密码”方式认证

授权对象【ID】
IP    通常是一个IP地址或是IP段，例如“192.168.66.101”
Digest    自定义，通常是“username:BASE64(SHA-1(username:password))”
World    只有一个ID:"anyone"
Super    与Digest模式一致

权限【Permission】
CREATE    c    可以创建子节点
DELETE    d    可以删除子节点（仅下一级节点）
READ    r    可以读取节点数据及显示子节点列表
WRITE    w    可以设置节点数据
ADMIN    a    可以设置节点访问控制列表权限   
            

命令

zkClient

简介
zkClient是简易的客户端程序

进入zkClient
在bin目录下输入zkCli.sh
          

节点命令

增
create 路径 数据
-s：顺序节点
-e：临时节点
默认情况下，不添加-s或者-e参数的，创建的是持久节点

改
set 路径 数据 版本
data就是要更新的新内容。注意，set命令后面还有一个version参数，在ZooKeeper 中，
节点的数据是有版本概念的，这个参数用于指定本次更新操作是基于ZNode的哪一个数据版本进行的

删
delete 路径 版本
如果节点包含子节点就报错
create /zk-book 123
create /zk-book/child 12345
delete /zk-book

查询【当前节点】
get 路径

查询【子节点】
ls 路径

查看节点状态信息
stat 路径

监听命令

注意
watch监听机制只能够使用一次，如果下次想要使用，必须重新监听

开启监听【当前节点】
get -w 路径

开启监听【子节点】
ls -w 路径

权限命令

相关命令
读取ACL权限：getAcl    路径
设置ACL权限：setAcl    路径
添加认证用户：addauth 路径

World方案
语法：setAcl 路径 world:anyone:权限
create /node1 1
getAcl /node1

IP方案
语法：setAcl 路径 ip:参数:权限
可以是具体IP也可以是IP/bit格式，即IP转换为二进制，匹配前bit位，如192.168.0.0/16匹配192.168..
create /node2 1
setAcl /node2 ip:192.168.66.103:cdrwa
使用IP非 192.168.66.101 的机器访问此节点时会提示权限不足
getAcl /node2

Auth方案
语法：setAcl 路径 auth:用户:权限
添加认证用户：addauth digest 用户:密码
create /node3 1
addauth digest jkw:123456
setAcl /node3 auth:jkw:cdrwa
getAcl /node3
断开会话重连需要重新addauth添加认证用户

Digest方案
语法：setAcl 路径 digest:用户:密码:权限
这里的密码是经过SHA1及BASE64处理的密文，在SHELL中可以通过以下命令计算
echo -n 用户:密码 | openssl dgst -binary -sha1 | openssl base64
先来获取一个密文
echo -n jkw:123456 | openssl dgst -binary -sha1 | openssl base64
客户端实例
create /node4 1
setAcl /node4 digest:jkw:密文
添加认证用户
addauth digest jkw:123456
获取节点数据没有权限，添加认证用户才可以成功读取数据          

高级

四字命令

简介
之前使用stat命令来验证ZooKeeper服务器是否启动成功，这里的stat命令就是ZooKeeper 中最为典型的命令之一
ZooKeeper中有很多类似的命令，它们的长度通常都是4个英文字母，因此我们称之为“四字命令”

开启四字命令
cd /usr/local/zookeeper/conf
vim zoo.cfg
4lw.commands.whitelist=*

conf
echo conf| nc localhost 2181
输出Zookeeper相关服务的详细配置信息，如客户端端口，数据存储路径、最大连接数、日志路径、数据同步端口、主节点推举端口、session超时时间等等
注意，conf命令输出的配置信息仅仅是输出一些最基本的配置参数。另外，conf命令会根据当前的运行模式来决定输出的信息。
如果是单机模式(standalone), 就不会输出诸如initLimit.syncLimit、electionAlg 和electionPort等集群相关的配置信息

cons
echo cons | nc localhost 2181
cons 命令用于输出当前这台服务器上所有客户端连接的详细信息，包括每个客户端的客户端IP、会话ID和最后一次与服务器交互的操作类型等

ruok
echo ruok | nc localhost 2181
ruok命令用于输出当前ZooKeeper服务器是否正在运行。该命令的名字非常有趣，其谐音正好是“Are you ok”
执行该命令后，如果当前ZooKeeper服务器正在运行，那么返回“imok”， 否则没有任何响应输出

stat
echo stat | nc localhost 2181
stat命令用于获取ZooKeeper服务器的运行时状态信息,包括基本的ZooKeeper版本、打包信息、运行时角色、集群数据节点个数、当前服务器的客户端连接信息等信息
除了一些基本的状态信息外，stat命令还会输出一些服务器的统计信息，包括延迟情况、收到请求数和返回的响应数等。注意，所有这些统计数据都可以通过srst命令进行重置

mntr
echo mntr | nc localhost 2181
列出集群的关键性能数据，包括zk的版本、最大/平均/最小延迟数、数据包接收/发送量、连接数、zk角色（Leader/Follower）、node数量、watch数量、临时节点数、

选举机制

核心选举原则
Zookeeper集群中只有超过半数以上的服务器启动，集群才能正常工作；
在集群正常工作之前，myid小的服务器给myid大的服务器投票，直到集群正常工作，选出Leader；
半数机制

选举机制流程
服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
服务器5启动，后面的逻辑同服务器4成为小弟。

Serverid：服务器ID
比如有三台服务器，编号分别是1,2,3。
编号越大在选择算法中的权重越大。

Zxid：数据ID
服务器中存放的最大数据ID.
值越大说明数据越新，在选举算法中数据越新权重越大。

Epoch：逻辑时钟
或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，
然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断