ZooKeeper学习笔记

一、概述

ZooKeeper 是一个开源的、分布式的，为分布式应用提供协调服务的Apache项目。

ZooKeeper 的工作机制：
ZooKeeper 从设计模式上来理解，是一个基于观察者设计模式设计的分布式服务管理框架，它负责储存和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据状态发生变化，ZooKeeper 就将在ZooKeeper上注册的那些观察者做出相应的反应。

ZooKeeper = 文件系统 + 通知系统

二、ZooKeeper的特点

1、ZooKeeper，一个领导者（Leader），多个跟随着（Follower）组成的集群。

2、集群中只要有半数以上的节点存活，ZooKeeper集群就能正常服务。

3、全局数据一致性：每个Server保存一份数据相同的副本，Client无论连接那个Server，数据都是一致的。

4、更新请求顺序执行，来自同一个client的更新请求按其发送顺序依次执行。

5、数据更新原子性，一次数据更新，要么成功，要么失败。

6、实时性，在一定时间范围内，Client能读到最新的数据。

三、ZooKeeper的数据结构

ZooKeeper的数据模型结构与Unix文件系统很类似，整体上可以看做是一棵树，每个节点称作为一个ZNode，每一个ZNode默认存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

四、ZooKeeper的应用场景

1、统一命名服务

2、统一配置管理

3、统一集群管理

4、服务器动态上下线

5、软负载均衡

五、操作ZooKeeper

配置参数解读：
ZooKeeper中的配置文件zoo.cfg中参数含义如下：

1.tickTime=2000
通信心跳数，ZooKeeper服务器与客户端心跳时间，单位是毫秒。

ZooKeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间（session的最小超时时间是2*tickTime）。

2.initLimit=10
LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时，能容忍的最多心跳数（tickTime的数量），它用来限定集群中Zookeeper服务器连接到Leader的时限。

3.syncLimit=5
LF同步通信时限

集群中Leader和Follower之间的最大响应时间单位，假设响应超过 syncLimi* tickTime，Leader会认为Follower死掉，从服务器列表中删除Follower。

4.dataDir=数据文件目录+数据持久化路径
主要用于保存ZooKeeper中的数据

5.clientPort=2181
客户端连接端口
监听客户端连接的端口

六、ZooKeeper内部原理

1、选举机制

1.1、半数机制，集群中半数以上的机器存活，集群可用，所以ZooKeeper适合安装奇数台服务器。

1.2、ZooKeeper虽然在配置文件中没有指定Master 和 Slave，但是在ZooKeeper工作时，有且只有一个节点为Leader，其余节点则为Follower，Leader通过内部选举机制临时产生的。

2、节点类型

持久（persistent）：客户端与服务器断开连接后，创建的节点不删除。
短暂（ephemeral）：客户端与服务器断开连接后，创建的节点自己删除。

2.1、持久目录节点
客户端与ZooKeeper断开连接后，该节点依旧存在。

2.2、持久化顺序编号目录节点
客户端与ZooKeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。

2.3、临时目录节点
客户端与ZooKeeper断开连接后，该节点被删除。

2.4、临时顺序目录编号节点
客户端与ZooKeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

说明：创建znode时设置顺序标识，znode名称后面会附加一个值，顺序号时一个单调递增的计数器，由父节点维护。

注意：分布式系统中，顺序号可以被用于被所有的事件进行全局排序，这样客户端可以通过顺序号来推断事件的顺序。

七、分布式安装部署

1、集群规划
在hadoop102、hadoop103、hadoop104 3个节点上部署ZooKeeper

2、解压安装

3、配置服务器编号

4、配置zoo.cfg文件

A是一个数字，表示这是第几号服务器，集群模式下配置的一个文件myid，这个文件在dataDir目录下，在这个文件里有一个数据就是A值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底时那个server。

B是这个服务器的IP地址。

C是这个服务器与集群中的Leader服务器交换信息的端口。

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时，服务器相互通讯的端口。

集群操作
(1) 分别启动Zookeeper

(2) 查看状态

八、客户端操作命令

九、监听器的原理

1、监听器的原理详解：

1.1、首先要有一个main线程

1.2、在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connect），一个负责监听（listener）。

1.3、通过connect线程将注册的监听事件发送给zookeeper服务器。

1.4、在zookeeper的注册监听列表中，将注册的监听事件添加到列表中。

1.5、zookeeper监听到有数据或者路径的变化时，就会将这个消息发送给listener线程。

1.6、listener线程调用process()方法。

2、常见的监听

2.1、监听节点数据的变化
get path [watch]

2.2、监听子节点增减的变化
ls path [watch]

3、写数据流程