Zookeeper入门&安装&实战&内部原理

Zookeeper概述

Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。
ZooKeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控你存储的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，诸如：统一命名服务、分布式配置管理、负载均衡、分布式锁、分布式协调等功能。

Zookeeper工作机制

Zookeeper特点

1)Zookeeper：一个领导者(Leader)，多个跟随者(Follower)组成的集群
2)集群中只要有半数以上节点存储，Zookeeper集群就能正常服务
3)全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的
4)可靠性：如果消息被其中一台服务器接收，那么将被所有服务器接收
5)顺序性：更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行
6)数据更新原子性：一次数据更新要么成功（半数以上节点成功），要么失败，不存在中间状态
7)实时性：Zookeeper保证客户端在一定事件间隔范围内获取服务器的更新信息，或则服务器失效的信息

集群的角色

Leader:
Zookeeper集群工作的核心
事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性，集群内各个服务器的调度者；
对于creat,setData,delete等有写操作的请求，则需要统一转发给leader处理。
leader需要决定编号、执行操作，这个过程称为一个事务

Follower:
处理客户端非事务（读操作）请求，转发事务请求给Leader
参与集群Leader选举投票

Observer：对于访问量比较大的集群，可以新增观察者角色
观察者角色，观察Zookeeper集群的最新状态变化并将这些状态同步过来，对于非事务请求可以进行独立处理，对于事务请求，则会转发给 Leader服务器进行处理。
不会参与任何形式的投票只提供非事务服务，通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

数据结构

Zookeeper数据模型的结构与Unix文件系统很类似，整体上可以看作一棵树，每个节点称作一个ZNode.每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。
每个ZNode由3部分组成：
stat:此为状态信息，描述znode的版本，权限等信息
data:与znode关联的数据
children:znode下的子节点

Zookeeper安装

1.本地模式安装部署

1.安装前准备
1)安装jdk
2)拷贝Zookeeper安装包到Linux系统下
3)解压到指定目录

[jinghang@hadoop01 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

2.配置修改

1)将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg

[jinghang@hadoop01 conf]$ mv zoo_sample.cfg zoo.cfg

2)打开zoo.cfg文件，修改dataDir路径

[jinghang@hadoop01 zookeeper-3.4.10]$ vim zoo.cfg

修改如下内容：

dataDir=/opt/module/zookeeper-3.4.10/zkData

3)在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

[jinghang@hadoop01 zookeeper-3.4.10]$ mkdir zkData

3.操作Zookeeper

1)启动Zookeeper

[jinghang@hadoop01 zookeeper-3.4.10]$ bin/zkServer.sh start

2)查看进程是否启动

[jinghang@hadoop01 zookeeper-3.4.10]$ jps
4020 Jps
4001 QuorumPeerMain

3)查看状态

[jinghang@hadoop01 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone

4)启动客户端

[jinghang@hadoop01 zookeeper-3.4.10]$ bin/zkCli.sh

5)退出客户端

[zk: localhost:2181(CONNECTED) 0] quit

6)停止Zookeeper

[jinghang@hadoop01 zookeeper-3.4.10]$ bin/zkServer.sh stop

2.配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1．tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2．initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3．syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4．dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。

5．clientPort =2181：客户端连接端口
监听客户端连接的端口。

Zookeeper实战（开发重点）

1.分布式安装部署

Zookeeper 集群搭建指的是 ZooKeeper 分布式模式安装，通常由2n+l台 servers 组成。这是因为为了保证 Leader 选举(基于Paxos 算法的实现)能过得到多数的支持，所以 Zookeeper集群的数量一般为奇数。 Zookeeper运行需要 java环境，所以需要提前安装jdk。对于安装leader+follower 模式的集群，大致过程如下:

1．集群规划
在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper

2.解压安装
解压Zookeeper安装包到/opt/module/目录下

[jinghang@hadoop01 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

3．配置服务器编号

1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

[jinghang@hadoop01 zookeeper-3.4.10]$ mkdir -p zkData

2)在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

jinghang@hadoop01 zkData]$ touch myid

3)编辑myid文件

[jinghang@hadoop01 zkData]$ vi myid

在文件中添加与server对应的编号：
1
4)拷贝配置好的zookeeper到其他机器上

[jinghang@hadoop01 zkData]$ xsync myid

并分别在hadoop02、hadoop03上修改myid文件中内容为2、3

4．配置zoo.cfg文件

1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

[jinghang@hadoop01 conf]$ mv zoo_sample.cfg zoo.cfg

2)打开zoo.cfg文件

[jinghang@hadoop01 conf]$ vim zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.4.10/zkData

增加如下参数配置
###########cluster############

 server.1=hadoop1:2888:3888
 server.2=hadoop2:2888:3888
 server.3=hadoop3:2888:3888

3)同步zoo.cfg配置文件

[jinghang@hadoop01 conf]$ rsync -av zoo.cfg jinghang@hadoop04:/opt/module/zookeeper-3.4.10/conf/

5.启动集群，查看状态
1)分别在各个节点上启动Zookeeper

bin/zkServer.sh start

2)查看状态

bin/zkServer.sh status

2.客户端命令行操作

创建：
create [-s] [-e] path data acl
-s 有序节点（序列号递增）
-e 表示临时节点 （关闭当前会话，即删除） （临时节点下不能添加其他子节点）

删除：
delete path [version] 删除节点，并且只能删除空节点（不能存在子节点）
rmr path 删除非空节点

修改：
set path data [version] 修改节点数据
set /school0000000001 zhangxiaozhang
set /school0000000001 12345 2[指定数据的版本]

查询：
ls path [watch] 获取当前节点的子节点
ls2 path [watch] 获取当前节点的子节点，还会返回当前节点的信息
get path [watch] 获取当前节点数据，并返回当前节点的信息
stat path [watch] 返回当前节点的信息

添加约束：
setquota -n|-b val path （软限制，只会给警告提示）
-n：设置某节点下的最大子节点数
-b：设置某节点下的存储的最大数据量

listquota path 查看节点的约束（限制）
Output quota for /school0000000001 count=-1,bytes=-1
count=-1,bytes=-1；表示没有添加任何限制

delquota [-n|-b] path

其他命令：
history 查看历史命令
redo 命令编号：该命令可以重新执行指定命令编号的历史命令，命令编号可以通过history查看

观察者：（观察者只生效一次）
ls path [watch] 获取当前节点的子节点，观察节点变化
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/

ls2 path [watch] 获取当前节点的子节点，还会返回当前节点的信息，观察节点变化
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/

get path [watch] 获取当前节点数据，并返回当前节点的信息 观察节点数据变化
WatchedEvent state:SyncConnected type:NodeDataChanged path:/school0000000001

stat path [watch] 返回当前节点的信息 观察节点数据属性变化
WatchedEvent state:SyncConnected type:NodeDataChanged path:/school0000000001

Zookeeper内部原理

1.节点类型

持久（Persistent）: 客户端和服务端断开连接后，创建的节点不删除
短暂（Ephemeral）: 客户端和服务器端断开连接后，创建的节点自己删除

1)持久化目录节点
客户端与Zookeeper断开连接后，该节点依旧存在
2)持久化顺序编号目录节点
客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
3)临时目录节点
客户端与Zookeeper断开连接后，该节点被删除
4)临时顺序编号目录节点
客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。
注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

2.Stat结构体

1)czxid - 创建节点的事务zxid
2)ctime - znode被创建的毫秒数(从1970年开始)
3)mzxid - znode最后更新的事务zxid
4)mtime - znode最后修改的毫秒数(从1970年开始)
5)pZxid - znode最后更新的子节点zxid
6)cversion - znode子节点变化号，znode子节点修改次数
7)dataversion - znode数据变化号（修改一次会加一）
8)ephemeralOwner - 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。
9)dataLength - znode的数据长度
10)numChildren - znode子节点数量

3.选举机制（面试重点）

1)半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
3)选举过程

全新集群选举：
假设目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选举过程如下：
a.服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。
b.服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
c. 服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
d. 服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
e.服务器5启动，后面的逻辑同服务器4成为小弟。

非全新集群选举：
对于运行正常的zookeeper集群，中途有机器down掉，需要重新选举时，选举过程就需要加入数据ID、服务器ID和逻辑时钟。
其中:
数据ID：数据新的version就大，数据每次更新都会更新version。
服务器ID：就是我们配置的myid中的值，每个机器一个。
逻辑时钟：这个值从0开始递增,每次选举对应一个值。 如果在同一次选举中,这个值是一致的。
这样选举的标准就变成：
逻辑时钟小的选举结果被忽略，重新投票；
统一逻辑时钟后，数据id大的胜出；
数据id相同的情况下，服务器id大的胜出；
根据这个规则选出leader。

4.监听器原理（面试重点）

1)首先要有一个main()线程
2)在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）
3)通过connect线程将注册的监听事件发送给Zookeeper
4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中
5)Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程
6)listener线程内部调用了process()方法

常见的监听：
1)监听节点数据的变化
get path [watch]
2)监听子节点增减的变化
Is path [watch]

5.写数据流程

1)Client 向 ZooKeeper 的 Server1 上写数据，发送一个写请求
2)如果Server1不是Leader，那么Server1 会把接受到的请求进一步转发给Leader，因为每个ZooKeeper的Server里面有一个是Leader.
这个Leader 会将写请求广播给各个Server，比如Server1和Server2，各个Server写成功后，会向Leader发送成功信息
3)当Leader收到半数以上（大多数） Server 数据写成功的信息，说明该数据写成功了(例如：如果有三个节点的话，
只要有两个节点的数据写成功了，那么就认为数据写成功了).Leader会告诉server1数据写成功了.
4)Server1会进一步通知 Client 数据写成功了，这时就认为整个写操作成功.