大数据-Zookeeper的工作原理

一、zookeeper为什么要奇数个

集群中的zookeeper需要超过半数，整个集群对外才可用。这里所谓的整个集群对外才可用，是指整个集群还能选出一个Leader来，zookeeper默认采用quorums来支持Leader的选举。

其实quorums机制有两个作用：

1、可以保证集群中选举出leader，且是唯一的一个，不会出现脑裂(split-brain)。
2、当客户端更新数据时，当大多数节点更新成功，客户端就会被通知更新成功了，其他节点可以稍后再更新，以致达到数据的最终一致性可能这还不够清晰，举个列子：设集群的最少节点数为n

集群总节点数	最少可用的节点数	可容忍失效的节点数
1	1	0
2	2	0
3	2	1
4	3	1
5	3	2
6	4	2
。。。	。。。	。。。
2n-1	n	n-1
2n	n+1	n-1

由此可见，当集群总数为1或2，都不行，因为可容忍失效的节点数都为0，所以要想保证zookeeper的高可用，至少需要3台+。同时，我们可以发现一个规律，3个节点与4个节点的效果是一样的，可容忍失效的节点数都是1，即2n-1与2n，可容忍失效的节点数都是n-1。2n-1个节点能达到的效果，为啥要用2n个节点呢？省一台节省了成本。配置成偶数台也不会有问题，只不过浪费了而已。

总结：ZK部署节点个数最好是奇数，即2n +1（n>=0)个，100台以内的集群：7/9个；100台以上的集群：13/15个，ZK的个数并不是和集群台数成线性增长。

二、zookeeper原理

什么是zookeeper

官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

zookeeper中的角色

1) leader：连接任何一个节点，如果节点出现故障，leader自动修复，在service启动时完成leader的选举
2) follower：听从leader的指令，完成选举工作
3) server：zookeeper中的一个节点，为client提供所需的服务，给client回应信息表明自己是存活的
4) client：分布式中的一个节点，访问服务器的配置信息，周期性向server发送心跳包，server向client回应确认，如果client没有收到回应，则重定向到另一个server

Leader主要有三个功能：
1 .恢复数据；
2 .维持与follower的心跳，接收follower请求并判断follower的请求消息类型；
3 .follower的消息类型主要有PING消息、REQUEST消息、ACK消息、REVALIDATE消息，根据不同的消息类型，进行不同的处理。

每个Server在工作过程中有三种状态： 
LOOKING：当前Server不知道leader是谁，正在搜寻
LEADING：当前Server即为选举出来的leader
FOLLOWING：leader已经选举出来，当前Server与之同步

zookeeper提供了什么

1.文件系统        2.通知机制

1、文件系统

与为存储设计的典型文件系统不同，ZooKeeper 数据保存在内存中，这意味着 ZooKeeper 可以实现高吞吐量和低延迟，ZooKeeper 允许分布式进程通过共享的层次结构命名空间进行相互协调，这与标准文件系统类似。每个子目录项如 NameService 都被称作为znode，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。 有四种类型的znode，如下：

1) PERSISTENT
持久化目录节点 ，客户端与zookeeper断开连接后，该节点依旧存在 
2) PERSISTENT_SEQUENTIAL
持久化顺序编号目录节点 ，客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
3) EPHEMERAL
临时目录节点 ，客户端与zookeeper断开连接后，该节点被删除 
4) EPHEMERAL_SEQUENTIAL
临时顺序编号目录节点 ，客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号 

2、通知机制

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端

zookeeper做了什么

1.命名服务   2.配置管理   3.集群管理   4.分布式锁  5.队列管理

1、Zookeeper命名服务

在zookeeper的文件系统里创建一个目录，即有唯一的path。在我们使用tborg无法确定上游程序的部署机器时即可与下游程序约定好path，通过path即能互相探索发现。

2、Zookeeper的配置管理

程序总是需要配置的，如果程序分散部署在多台机器上，要逐个改变配置就变得困难。现在把这些配置全部放到zookeeper上去，保存在 Zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 Zookeeper 的通知，然后从 Zookeeper 获取新的配置信息应用到系统中就好

3、Zookeeper集群管理

所谓集群管理无在乎两点：1.监控是否有机器退出和加入，2.选举master。 

1) 监控是否有机器退出和加入

对于第一点，所有机器约定在父目录GroupMembers下创建临时目录节点，然后监听父目录节点的子节点变化消息。一旦有机器挂掉，该机器与 zookeeper的连接断开，其所创建的临时目录节点被删除，所有其他机器都收到通知：某个兄弟目录被删除，于是，所有人都知道：它上船了。

新机器加入也是类似，所有机器收到通知：新兄弟目录加入，highcount又有了，对于第二点，我们稍微改变一下，所有机器创建临时顺序编号目录节点，每次选取编号最小的机器作为master就好。

2) 选举master 

当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的 Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。

basic paxos流程：

1 .选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；
2 .选举线程首先向所有Server发起一次询问(包括自己)；
3 .选举线程收到回复后，验证是否是自己发起的询问(验证zxid是否一致)，然后获取对方的id(myid)，并存储到当前询问对象列表中，最后获取对方提议的leader相关信息(id,zxid)，并将这些信息存储到当次选举的投票记录表中；
4.  收到所有Server回复以后，就计算出zxid最大的那个Server，并将这个Server相关信息设置成下一次要投票的Server；
5.  线程将当前zxid最大的Server设置为当前Server要推荐的Leader，如果此时获胜的Server获得n/2 + 1的Server票数， 设置当前推荐的leader为获胜的Server，将根据获胜的Server相关信息设置自己的状态，否则，继续这个过程，直到leader被选举出来。
通过流程分析我们可以得出：要使Leader获得多数Server的支持，则Server总数必须是奇数2n+1，且存活的Server的数目不得少于n+1.

fast paxos流程：

在选举过程中，某Server首先向所有Server提议自己要成为leader，当其它Server收到提议以后，解决epoch和 zxid的冲突，并接受对方的提议，然后向对方发送接受提议完成的消息，重复这个流程，最后一定能选举出Leader。

4、Zookeeper分布式锁

分布式锁，这个主要得益于ZooKeeper为我们保证了数据的强一致性，即用户只要完全相信每时每刻，zk集群中任意节点（一个zk server）上的相同znode的数据是一定是相同的。锁服务可以分为两类，一个是保持独占，另一个是控制时序。
保持独占，就是所有试图来获取这个锁的客户端，最终只有一个可以成功获得这把锁。通常的做法是把zk上的一个znode看作是一把锁，通过create znode的方式来实现。所有客户端都去创建 /distribute_lock 节点，最终成功创建的那个客户端也即拥有了这把锁。
控制时序，就是所有视图来获取这个锁的客户端，最终都是会被安排执行，只是有个全局时序了。做法和上面基本类似，只是这里 /distribute_lock 已经预先存在，客户端在它下面创建临时有序节点（这个可以通过节点的属性控制：CreateMode.EPHEMERAL_SEQUENTIAL来指定）。Zk的父节点（/distribute_lock）维持一份sequence,保证子节点创建的时序性，从而也形成了每个客户端的全局时序。

5、Zookeeper队列管理

两种类型的队列：
1、同步队列，当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达，在约定目录下创建临时目录节点，监听节点数目是否是我们要求的数目。 
 2、队列按照 FIFO 方式进行入队和出队操作，和分布式锁服务中的控制时序场景基本原理一致，入列有编号，出列按编号。

三、zookeeper使用

使用客户端命令操作zookeeper

1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

2、创建一个新的 znode ，使用 create /zkPro myData

3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容：

4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串：

5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置： 

 6、下面我们将刚才创建的 znode 删除

参考：
https://www.cnblogs.com/felixzh/p/5869212.html
https://blog.csdn.net/java_66666/article/details/81015302
https://jxauwxj.iteye.com/blog/2360412