zookeeper简述与安装

一：zookeeper简述

1.zookeeper是什么？
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件。

2.zookeeper能干什么？
1）配置管理
在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更。比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。Zookeeper就是这种服务，它使用Zab这种一致性协议来提供一致性。现在有很多开源项目使用Zookeeper来维护配置，比如在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步操作。还有在开源的消息队列Kafka中，也使用Zookeeper来维护broker的信息。在Alibaba开源的SOA框架Dubbo中也广泛的使用Zookeeper管理一些配置来实现服务治理。
2）名字服务
名字服务这个就很好理解了。比如为了通过网络访问一个系统，我们得知道对方的IP地址，但是IP地址对人非常不友好，这个时候我们就需要使用域名来访问。但是计算机是不能是别域名的。怎么办呢？如果我们每台机器里都备有一份域名到IP地址的映射，这个倒是能解决一部分问题，但是如果域名对应的IP发生变化了又该怎么办呢？于是我们有了DNS这个东西。我们只需要访问一个大家熟知的(known)的点，它就会告诉你这个域名对应的IP是什么。在我们的应用中也会存在很多这类问题，特别是在我们的服务特别多的时候，如果我们在本地保存服务的地址的时候将非常不方便，但是如果我们只需要访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便得多了。
3）分布式锁
其实在第一篇文章中已经介绍了Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个分布式进程之间的活动。比如在一个分布式环境中，为了提高可靠性，我们的集群的每台服务器上都部署着同样的服务。但是，一件事情如果集群中的每个服务器都进行的话，那相互之间就要协调，编程起来将非常复杂。而如果我们只让一个服务进行操作，那又存在单点。通常还有一种做法就是使用分布式锁，在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。这在很多分布式系统中都是这么做，这种设计有一个更好听的名字叫Leader Election(leader选举)。比如HBase的Master就是采用这种机制。但要注意的是分布式锁跟同一个进程的锁还是有区别的，所以使用的时候要比同一个进程里的锁更谨慎的使用。
4）集群管理
在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些节点会进进出出。有新的节点加入进来，也有老的节点退出集群。这个时候，集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。比如我们是一个分布式存储系统，有一个中央控制节点负责存储的分配，当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储节点。这个时候我们就需要动态感知到集群目前的状态。还有，比如一个分布式的SOA架构中，服务是一个集群提供的，当消费者访问某个服务时，就需要采用某种机制发现现在有哪些节点可以提供该服务(这也称之为服务发现，比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。

以上参考：https://www.cnblogs.com/yuyijq/p/3424473.html

二：核心协议Zab

协议的全称是ZooKeeper Atomic Broadcast即zookeeper“原子”“广播”协议。它规定了两种模式：崩溃恢复和消息广播。

1.恢复模式- 即选主过程
1）什么时候进入？
当整个服务框架在启动过程中，当Leader服务器出现网络中断崩溃退出与重启等异常情况即选举过程时进入恢复模式。
2）干了什么？
选举产生新的Leader服务器，同时集群中已有的过半的机器会与该Leader完成状态同步，这些工作完成后，ZAB协议就会退出崩溃恢复模式。

2.　广播模式-即数据同步
1）什么时候进入？
集群状态稳定，有了leader且过半机器状态同步完成，退出崩溃恢复模式后进入消息广播模式。
2）干了什么？
正常的消息同步，把日常产生数据从leader同步到learner（包括跟随者follower和观察者observer）的过程

三：选举流程以及概念

目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5（配置时的myid，即配置集群时的机器序号id）,按编号依次启动，它们的选择举过程如下：

1. 服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
   服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器
2. 2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
   服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服
3. 务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
4. 服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
5. 服务器5启动，后面的逻辑同服务器4成为小弟。

总结：在每台服务器都没有数据的时候（即每台机器的事务Zxid都是一样的时候，首先获得集群配置中半数机器以上支持的myid最大的机器作为leader）

1、Serverid：服务器ID（上面说到的myid，同样的意思）
比如有三台服务器，编号分别是1,2,3。
编号越大在选择算法中的权重越大。

2、Zxid：数据ID
服务器中存放的最大数据ID.
值越大说明数据越新，在选举算法中数据越新权重越大。

3、Epoch：逻辑时钟
或者叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的（可以理解为都是1，因为最开始都是给自己投的票）。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。

4、Server状态：选举状态，每个节点都属于以下四种中的一种

• LOOKING，竞选状态。
• FOLLOWING，随从状态，同步leader状态，参与投票。
• OBSERVING，观察状态,同步leader状态，不参与投票。
• LEADING，领导者状态

5.选举消息内容
在投票完成后，需要将投票信息发送给集群中的所有服务器，它包含如下内容。

• 服务器ID
• 数据ID
• 逻辑时钟
• 选举状态

6.选举流程详述
1、如果服务器B接收到服务器A的数据（服务器A处于选举状态(LOOKING 状态)

1）首先，判断逻辑时钟值：
a）如果发送过来的逻辑时钟Epoch大于目前的逻辑时钟。首先，更新本逻辑时钟Epoch，同时清空本轮逻辑时钟收集到的来自其他server的选举数据。然后，判断是否需要更新当前自己的选举leader Serverid。判断规则rules judging：保存的zxid最大值和leader Serverid来进行判断的。先看数据zxid,数据zxid大者胜出;其次再判断leader Serverid,leader Serverid大者胜出；然后再将自身最新的选举结果(也就是上面提到的三种数据（leader Serverid，Zxid，Epoch）广播给其他server)
b）如果发送过来的逻辑时钟Epoch小于目前的逻辑时钟。说明对方server在一个相对较早的Epoch中，这里只需要将本机的三种数据（leader Serverid，Zxid，Epoch）发送过去就行。
c）如果发送过来的逻辑时钟Epoch等于目前的逻辑时钟。再根据上述判断规则rules judging来选举leader ，然后再将自身最新的选举结果(也就是上面提到的三种数据（leader Serverid，Zxid，Epoch）广播给其他server)。
2）其次，判断服务器是不是已经收集到了所有服务器的选举状态：若是，根据选举结果设置自己的角色(FOLLOWING还是LEADER)，退出选举过程就是了。

最后，若没有收到没有收集到所有服务器的选举状态：也可以判断一下根据以上过程之后最新的选举leader是不是得到了超过半数以上服务器的支持,如果是,那么尝试在200ms内接收一下数据,如果没有新的数据到来,说明大家都已经默认了这个结果,同样也设置角色退出选举过程。

2、 如果所接收服务器A处在其它状态（FOLLOWING或者LEADING）。
a)逻辑时钟Epoch等于目前的逻辑时钟，将该数据保存到recvset。此时Server已经处于LEADING状态，说明此时这个server已经投票选出结果。若此时这个接收服务器宣称自己是leader, 那么将判断是不是有半数以上的服务器选举它，如果是则设置选举状态退出选举过程。
b) 否则这是一条与当前逻辑时钟不符合的消息，那么说明在另一个选举过程中已经有了选举结果，于是将该选举结果加入到outofelection集合中，再根据outofelection来判断是否可以结束选举,如果可以也是保存逻辑时钟，设置选举状态，退出选举过程。

参考：https://www.cnblogs.com/shuaiandjun/p/9383655.html

四：Zookeeper安装

单机安装

安装环境：
CentOS 7 内存1GB
JDK版本：1.8.0_112

zookeeper是java语言编写的，所以它的运行是需要在java环境下才能运行的，首先得在自己的系统下安装好jdk并配置好环境变量。

1.Zookeeper下载：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
选择合适的版本下载后进行安装，我放在/usr/local/下
并配置环境变量
2.进入到zookeeper/conf/下找到模板文件：zoo_sample.cfg
复制并重命名下：cp zoo_sample.cfg zoo.cfg
-vim zoo.cfg，并修改里面的配置:

参数	说明
tickTime	基本事件单元，单位毫秒。用来设置心跳，最小的session过期时间为tickTime的两倍，ZK中的其他时间都是以这个为倍数的。
dataDir	存储内存中数据库快照的位置，默认是/tmp/zookeeper，这个只是例子，我们修改为ZK家目录下的data，这个data其实也没有，我们需要手动建立。快照文件并不是实时的，运行一段时间才会有。
dataLogDir	日志路径，也就是事务日志。我们知道对ZK的读和写都是在内存中完成，所以速度非常快，但是如果停止ZK再启动数据还是需要保证的，所以就会有这样一个路径用来保存事务日志，当ZK再次启动时加载到内存重演过程来恢复数据。因为为了一致性，ZK对于客户端的写入请求在返回之前就要把本次操作写入到事物日志中。logDir
logDir	zookeeper服务的日志路径
clientPort	监听客户端连接的端口

3.- vim zkServer.sh start/stop/status（分别对应zookeeper的开启/停止/状态）
zkServer.sh start 开启服务，输入命令：jps查看是否有zookeeper进程，有就说明ok了。
4.zkCli.sh 开启客户端可进行节点的存储删除等操作（Ctrl+c退出）

集群安装

为了便捷，我们先：-vim /etc/hosts，加入集群机器的地址，我的集群机器ip分别为：192.168.1.3/4/5
后面的master/slave1/slave2只是对应的地址取的别名，配置之后这些名称可以被计算机解析成对应的ip地址，没啥用，跟域名一样，也可以不写，建议写。

集群配置和单机安装一样，只是配置文件内容会多一部分内容，内容如下：

“server.id=host:port:port” 表示不同ZK服务器的配置。id表示不同服务器
host 主机名称或者IP地址
第一个port 群中从服务器（follower）连接到主服务器（leader）的端口，也就是作为leader时使用的，其他从服务器都连接到主服务器的这个端口
第二个port 进行leader选举时使用的端口

id	当前主机在集群中的身份，每台机器的id需要不一样，在dataDir目录里需要手动创建一个叫做myid的文件，里面的值为id值
host	主机名称或者IP地址
第一个port	群中从服务器（follower）连接到主服务器（leader）的端口，也就是作为leader时使用的，其他从服务器都连接到主服务器的这个端口
第二个port	进行leader选举时使用的端口

群启动和单机启动一样，使用同样的命令，需要注意的是集群不可用那么你将无法连接到ZK服务器，也就是说3台你只启动1台是无法Telnet到ZK的，至少你要启动2台才行。

在服务器配置文件的dataDir所设置的目录里需要手动创建一个叫做myid的文件，这个文件只有一行内容，标识自己的身份也就是自己的ID值，该值范围可以是1-255之间。当然0是可以的，但是最好不要用0，另外新加入集群的节点的myid一定要比现有的myid大。

比如：主机master中dataDir目录下myid文件的内容为1
主机slave1中dataDir目录下myid文件的内容为2
主机slave2中dataDir目录下myid文件的内容为3
可通过：echo 1 > /usr/local/“你的zookeeper安装目录”/dataDir/myid 进行设置值

随后三台虚拟机进行zkServer.sh start开启服务即可。
输入命令：zkServer.sh status 可以查看当前主机为leader还是following。