Zookeeper内部原理

目录

Zookeeper内部原理

选举机制

节点类型

stat结构体

监听器原理

写数据流程

Zookeeper分布式安装部署

ZK集群操作

客户端操作

---

Zookeeper内部原理

在Zookeeper的集群中，每一个节点都有自己的权重，权重小的给权重大的节点投票，而每个节点的权重由两个因素决定。

（1）SeverID：由用户配置

（2）Zxid：数据ID

选举机制

（1）半数机制（Paxos 协议）：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。

（2）Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举机制临时产生的。

（3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。

a.服务器1启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是LOOKING状态。

b.服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

c.服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的leader。

d.服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

e.服务器5启动，同4一样当小弟。

节点类型

(1）Znode有两种类型：

短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除

持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除

(2）Znode有四种形式的目录节点（默认是persistent ）

a.持久化目录节点（PERSISTENT）(小写：persistent)客户端与zookeeper断开连接后，该节点依旧存在。

b.持久化顺序编号目录节点（PERSISTENT_SEQUENTIAL)（小写：persistent_sequential)，客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。

c.临时目录节点（EPHEMERAL）(ephemeral)，客户端与zookeeper断开连接后，该节点被删除。

d.临时顺序编号目录节点（EPHEMERAL_SEQUENTIAL）(ephemeral_sequential)，客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

（3）创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

（4）在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

stat结构体

我们启动客户端，获取节点结构 。

（1）czxid- 引起这个znode创建的zxid，创建节点的事务的zxid，每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

（2）ctime - znode被创建的毫秒数(从1970年开始)

（3）mzxid - znode最后更新的zxid

（4）mtime - znode最后修改的毫秒数(从1970年开始)

（5）pZxid-znode最后更新的子节点zxid

（6）cversion - znode子节点变化号，znode子节点修改次数

（7）dataversion - znode数据变化号

（8）aclVersion - znode访问控制列表的变化号

（9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

（10）dataLength- znode的数据长度

（11）numChildren - znode子节点数量

监听器原理

1. 监听原理详解：

（1）首先要有一个main（）线程

（2）在main线程中创建ZK客户端，这是会创建两个线程，一个负责网络连接通信（connect）,一个负责监听（listener）

（3）通过connect线程将注册的监听事件发送给ZK

（4）在ZK的注册监听器列表中将注册的监听事件添加到列表中

（5）ZK监听到有数据或路径发生变化时，就会将这个消息发送给listener线程

（6）Listener线程内部调用process()方法

2. 常见的监听

（1）监听节点数据的变化

Get path [watch]

（2）监听子节点增减的变化

Ls path [watch]

 

写数据流程

读是局部性的，即client只需要从与它相连的server上读取数据即可；而client有写请求的话，与之相连的server会通知leader，然后leader会把写操作分发给所有server。所以写要比读慢很多。

Zookeeper分布式安装部署

搭建一个zookeeper集群。

（1）发送安装包至其余机器，并且分别解压。

（2）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

（3）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

（4）配置zoo.cfg文件

dataDir=/opt/module/zookeeper-3.4.10/zkData
server.1=bigdata111:2888:3888
server.2=bigdata112:2888:3888
server.3=bigdata113:2888:3888

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的ip地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

（5）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件，并在文件中添加自己对应的节点编号，比如节点2，就在myid中添加1。

ZK集群操作

（1）启动zookeeper。

（2）查看ZK状态。

无法连接服务器的是因为此时只有一个节点，无法发起投票得到sever，所以我们可以再启动一个节点。

再看Zk状态

此时就可以发现节点1成为了集群leader。

而节点2为follower。

 

客户端操作

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建(永久节点) -s  含有序列 -e  临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点