Zookeeper 入门

1.Zookeeper=文件系统+通知机制

2.Zookeeper特点
1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群
2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器
3）每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的
4）来自同一个Client的更新请求按其发送顺序依次执行
5）数据更新原子性，一次数据更新要么成功，要么失败
6）实时性，在一定时间范围内，Client能读到最新数据

3.数据结构
ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树
每个节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过其路径唯一标识

4.应用场景
统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线

5.Zookeeper下载安装
(1)安装JDK
(2)安装Zookeeper
下载地址：https://zookeeper.apache.org/
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7
mv zoo_sample.cfg zoo.cfg
mkdir /opt/zookeeper-3.5.7/zkData
vim zoo.cfg
dataDir=/opt/zookeeper-3.5.7/zkData
(3)操作Zookeeper
启动Zookeeper：bin/zkServer.sh start
查看Zookeeper：bin/zkServer.sh status
停止Zookeeper：bin/zkServer.sh stop
启动Zookeeper客户端：bin/zkCli.sh
(4)配置参数
tickTime：Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit：初始连接最大心跳次数
syncLimit：同步通信最大心跳次数，超过syncLimit * tickTime，Leader则认为Follwer死掉，从服务器列表中删除Follwer
dataDir：保存Zookeeper中的数据路径
clientPort = 2181：客户端连接端口

6.Zookeeper集群操作
(1)关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
(2)vim /etc/hostname
(3)vim /etc/hosts
192.168.91.130 node1
192.168.91.129 node2
192.168.91.128 node3
(4)在/opt/zookeeper-3.5.7/zkData 目录下创建myid文件,vi myid 添加与server对应的编号
(5)vim zoo.cfg
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

参数解读server.A=B:C:D
A表示是第几号服务器
B是这个服务器的地址
C是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口
D是用来执行选举时服务器相互通信的端口

(6)reboot后分别启动Zookeeper
bin/zkServer.sh start
bin/zkServer.sh status

命令行语法：
创建节点： create -e -s /test "test" (-s 节点带序列，-e 临时节点)
获得节点的值：get /test (-s 附加次级信息，-w 监听节点内容变化)
修改节点值：set /test "nice"
删除节点：delete /test (deleteall递归删除节点)
查看子节点：ls /test (-s 附加次级信息，-w 监听子节点变化)

7.选举机制
假设集群有5台服务器，超过半数(3票)选为leader
(1)第一次启动
服务器1启动，发起选举，服务器1投自己一票，不够半数以上（3票），选举无法完成，服务器1状态保持为
LOOKING
服务器2启动，发起选举，服务器2投自己一票，服务器2 myid最大，LOOKING状态下的服务器1更改选票投服务器2，此时服务器1=0票，服务器2=2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
服务器3启动，发起选举，服务器3投自己一票，服务器3 myid最大，LOOKING状态下的服务器1、2更改选票投服务器3，此次投票结果：服务器1=0票，服务器2=0票，服务器3=3票，服务器3当选Leader，服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING
服务器4启动，发起选举，服务器4投自己一票，：服务器3=3票，服务器4=1票，此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING
服务器5启动，同4
(2)非第一次启动，服务器运行期间无法和Leader保持连接
①Leader存在，某Follwer无法和Leader保持连接，该机器发起选举，会被告知Leader的信息，该机器需要和Leader机器建立连
接，并进行状态同步
②Leader不存在，发起选举，比较（EPOCH，ZXID，SID）
选举Leader规则： ①EPOCH大的直接胜出 ②EPOCH相同，ZXID大的胜出 ③ZXID相同，SID大的胜出
Epoch：每个Leader任期的代号
ZXID：事务ID，用来
标识一次服务器状态的变更
SID：服务器ID，和myid一致

8.节点信息
(1)查看znode中所包含的内容  ls /
(2)查看znode详细数据  ls -s /
[zookeeper]cZxid = 0x0
ctime = Wed Dec 31 16:00:00 PST 1969 -> znode被创建的毫秒数
mZxid = 0x0 -> znode最后更新的事务zxid
mtime = Wed Dec 31 16:00:00 PST 1969 -> znode最后修改的毫秒数
pZxid = 0x0 -> znode最后更新的子节点事务zxid
cversion = -1 -> znode子节点修改次数
dataVersion = 0 -> znode数据变化号
aclVersion = 0 -> znode访问控制列表的变化号
ephemeralOwner = 0x0 -> 临时节点=znode拥有者的session id，不是临时节点=0
dataLength = 0 -> znode的数据长度
numChildren = 1  -> znode子节点数量
(3)znode类型
Persistent：持久，客户端和服务器端断开连接后，创建的节点不删除
Ephemeral：短暂，客户端和服务器端断开连接后，创建的节点删除
创建节点： create -e -s /test "test" (-s 节点带序列，-e 临时节点)

9.监听器原理
1）监听节点的变化
 get -w path 
2）监听子节点的变化
 ls -w path 

ZK客户端：
创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）
通过connect线程将注册的监听事件发送给ZK服务端listener线程监听到ZK服务端的通知，调用process()方法

ZK服务端：
将ZK客户端发过来的监听事件添加到监听器列表，有数据或路径变化时通知ZK客户端

10.Zookeeper写数据流程
(1)zookeeper中任意节点收到写请求，如果是follower节点，则会把写请求转发给leader，如果是leader节点就直接进行下一步
(2)leader生成一个新的事务并为这个事务生成一个唯一的ZXID
(3)leader将这个事务发送给所有的follows节点
(4)follower节点将收到的事务请求加入到历史队列(history queue)中,并返回ack确认包

(5)当leader收到半数以上的follower的ack消息，leader就进行写入操作，并且发送给所有follower 进行这个写request 持久化操作的commit（也带有这个zxid），当follower接收到commit还会进行一次check（队列中zxid和commit中的zxid比较），正确则进行写入操作，否则去sync leader数据
即leader接受到写请求（标记为zxid）就会发送proposal给所有follower，follower接受到请求先把zxid写入到队列中并返回ack确认包，
当leader收到超过半数follower回传的ack后就进行写入操作，并且发送给所有follower 进行这个写request 持久化操作的commit（也带有这个zxid），
当follower接收到commit还会进行一次check（队列中zxid和commit中的zxid比较），正确则进行写入操作，否则去sync leader数据