大数据之Zookeeper

1. Zookeeper入门

1.1 概述

Zookeeper就是一个协调者，它存储和管理着集群数据（是一个文件系统，此数据是各个节点的状态），并且当某个节点下线后，它负责通知客户端，告知集群状况（通知机制）。
所以我总结，Zookeeper = 文件系统 + 通知机制的框架。

1.2特点

①全局数据一致（各个节点的数据是一致的）。
②数据更新时，全部的节点更新成功才叫成功。
③去中心化集群，集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。

1.3 数据结构

Zookeeper的数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据，每个节点都可以通过其路径唯一标识。
好了，这里概念可能抽象，我来解释一下，每一个节点它是文件也是一个值，也就说它有文件的属性也有值的属性。

1.4 应用场景

其实Zookeeper的应用场景很多，我们在Hadoop入门里面就有一张框架图，Zookeeper它的位置大家记得的话，它是直接竖着的，所以说很多框架都会和Zookeeper交互。我就来说一下常用的场景：
①去中心化集群、协调出临时主机（当主机挂掉时再协调新的主机）（HA)
②提供主从结耦服务（Hbase，主机挂掉，短时间内从机不受影响）

2. Zookeeper的安装

本地安装部署

①拷贝Zookeeper安装包到Linux系统下
②解压到/opt/module目录下

[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

③修改环境变量

[atguigu@hadoop102 ~]$ vim /etc/profile.d/my_env.sh 

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

④将/opt/module/zookeeper/conf这个路径下的zoo_sample.cfg，拷贝一份为zoo.cfg；（我在进行这部操作之前将Zookeeper解压的名字改成了Zookeeper）

[atguigu@hadoop102 conf]$ cp zoo_sample.cfg zoo.cfg

修改zoo.cfg文件

[atguigu@hadoop102 zookeeper]$ vim zoo.cfg

修改内容如下：

dataDir=/opt/module/zookeeper/zkData

大家在这里注意到了，我们没有ZkData这个文件夹，所以需要创建一个ZkData文件夹

[atguigu@hadoop102 zookeeper]$ mkdir zkData

这个时候就可以启动Zookeeper了

[atguigu@hadoop102 ~]$ zkServer.sh start

查看一下启动状态

[atguigu@hadoop102 ~]$ jps
4352 NodeManager
4753 JobHistoryServer
75173 Jps
3388 DataNode
1773 QuorumPeerMain
3183 NameNode

启动客户端

[atguigu@hadoop102 ~]$ zkCli.sh

退出客户端

[zk: localhost:2181(CONNECTED) 0] quit

3.Zookeeper操作

3.1 分布式安装部署

1.集群规划
在hadoop102、hadoop103、hadoop104上面部署Zookeeper。
2. 配置服务器编号
我们之前创建了一个ZkData文件夹没有使用，现在我们需要在这个文件夹下面创建一个myid的文件

[atguigu@hadoop102 zkData]$ touch myid

编辑一下myid文件

[atguigu@hadoop102 zkData]$ vi myid
2

同步一下文件到hadoop103和hadoop104上面

[atguigu@hadoop102 zkData]$ xsync myid

分别将hadoop103和hadoop104上面的内容改为3和4。
3.配置zoo.cfg文件
打开zoo.cfg文件

[atguigu@hadoop102 conf]$ vim zoo.cfg

增加如下配置

dataDir=/opt/module/zookeeper/zkData
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

同步zoo.cfg文件
4.配置群起Zookeeper
我们在/opt/module/zookeeper/bin目录下创建一个脚本zk.sh

[atguigu@hadoop102 bin]$ mkdir zk.sh

添加如下内容

#!/bin/bash

if (($#==0))
then
   exit 1;
fi
for i in hadoop102 hadoop103 hadoop104
do
   echo "=====================  Starting zk in $i  ======================="
   ssh $i "zkServer.sh $1" 2> /dev/null
done

修改其具有执行权限

[atguigu@hadoop102 bin]$ chmod  +x zk.sh

3.2 客户端命令行操作

命令基本语法	功能描述
help	显示所有操作命令
ls path	使用 ls 命令来查看当前znode的子节点 -w 监听子节点变化 -s 附加次级信息
create	普通创建 -s 含有序列 -e 临时（重启或者超时消失）
get path	获得节点的值 -w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

启动客户端

[atguigu@hadoop102 ~]$ zkCli.sh

1.显示所有操作命令

[zk: localhost:2181(CONNECTED) 0] help

2.显示当前znode中所包含的内容

[zk: localhost:2181(CONNECTED) 1] ls /
[abc0000000001, sanguo, zookeeper]

3.查看当前节点详细数据

[zk: localhost:2181(CONNECTED) 2] ls -s /
[abc0000000001, sanguo, zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x300000003
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 3

4.分别创建2个普通节点

[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo

获取节点的值

[zk: localhost:2181(CONNECTED) 5] get /sanguo

5.创建短暂节点，退出客户端后就看不见了

[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo

[zk: localhost:2181(CONNECTED) 3] ls /sanguo 
[wuguo, shuguo]

退出重启后在查看

[zk: localhost:2181(CONNECTED) 12] quit
[atguigu@hadoop104 zookeeper-3.5.7]$ bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo]

6.创建带序号的节点

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002

7.修改节点数据值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

8节点的值变化监听
在104主机上注册监听/sanguo节点数据的变化

[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

在103主机上修改/sanguo节点的数据

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

观察104主机上收到数据变化的监听

WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

9.删除节点

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

10.递归删除节点

[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

11.查看节点状态

[zk: localhost:2181(CONNECTED) 17] stat /sanguo

3.3 API 操作

3.3.1 idea中maven环境搭建

1.创建maven工程
2。添加pom文件，将依赖添加进去

<dependencies>
       <dependency>
           <groupId>junit</groupId>
           <artifactId>junit</artifactId>
           <version>4.12</version>
       </dependency>
       <dependency>
           <groupId>org.apache.logging.log4j</groupId>
           <artifactId>log4j-core</artifactId>
           <version>2.8.2</version>
       </dependency>
       <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
       <dependency>
           <groupId>org.apache.zookeeper</groupId>
           <artifactId>zookeeper</artifactId>
           <version>3.5.7</version>
       </dependency>
   </dependencies>

在main目录下的resource目录下创建log4j.properties文件

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  

3.3.2 创建Zookeeper客户端

接下来我们进行常规的API操作（增删查改）

public class ZookeeperClient {
   private ZooKeeper zooKeeper;
   @Before
   public  void before() throws InterruptedException, IOException {
       //创建对象
       zooKeeper = new ZooKeeper(
               "hadoop102:2181,hadoop103:2181,hadoop104:2181",
               2000,
               new Watcher() {
                   public void process(WatchedEvent watchedEvent) {
                       System.out.println("默认的回调函数");
                   }
               }
       );

   }
   @After
   public void after() throws InterruptedException {
       //关闭
       zooKeeper.close();
   }
   //增加一个节点
   @Test
   public void create() throws KeeperException, InterruptedException {
       //做事情
       zooKeeper.create("/abc",
               "ceshi".getBytes(),
               ZooDefs.Ids.OPEN_ACL_UNSAFE,
               CreateMode.PERSISTENT_SEQUENTIAL);
   }
   //修改节点的值
   @Test
   public void set() throws KeeperException, InterruptedException {
       zooKeeper.setData("/abc0000000001",
               "ceshiwanle".getBytes(),
               0);
   }
   //查看节点的值
   @Test
   public void get() throws KeeperException, InterruptedException, IOException {
       Stat stat = new Stat();
       byte[] data = zooKeeper.getData("/abc0000000001",
               true,
               stat);
       System.out.write(data);
       System.out.println();
   }
   //删除节点的值
   @Test
   public void delete() throws KeeperException, InterruptedException {
       zooKeeper.delete("/abc0000000001",1);
   }
}

4. Zookeeper 原理

4.1 节点类型

节点类型按照节点存储是否永久可以分为
持久化目录节点、临时目录节点
按照是否有序可以分为
有序节点、无序节点
二者组合为4种节点为
持久化有序节点、持久化无序节点、临时有序节点、临时无序节点

4.2 Stat结构体

结构名称	说明
cZxid	事务ID
mZxid	最后事务更新的ID
pZxid	最后事务更新的子节点
cversion	子节点变化号，子节点修改次数
dataVersion	数据变化次数
aclVersion	访问控制列表的变化
dataLength	数据长度
numChildren	子节点数

4.3 监听器原理（ZAP）

（1）首先有一个主线程
（2）在主线程里面创建Zookeeper客户端，这时会创建两个线程（SendThread、EventThread），一个负责发送数据的变化（SendThread），一个负责监听数据的改变（EventThread）。
（3）通过EventThread线程将注册的监听事件发送给Zookeeper。
（4）在Zookeeper的监听器列表中将注册的监听事件添加到列表中。
（5）Zookeeper监听到数据有数据或节点路径变化，就会将这个消息发送给EventThread线程。
（6）EventThread线程内部调用了process方法。

4.4 选举机制

(1)半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
(2)Zookeeper虽然是去中心化集群，没有指定的Master和Slave。但是，Zookeeper工作时，会通过投票机制，选举出leader，其他的节点则是follower。
（3）投票机制是根据服务器的zxid和myid的大小来判断的。zxid越大代表数据越新，这也符合Zookeeper集群中数据一致性。
简单的来看一下下图：

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的ID比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
（5）服务器5启动，同4一样当小弟。

4.5 写数据流程

leader接收到写数据的请求，把这个请求通知给follow节点，follow节点投票表示同意，将同意信息返回给leader，leader在向各个follow节点提交信息，这个时候，各个节点开始写。

5.总结

Zookeeper给我的感觉整体来说就是个好人，嘘寒问暖，帮助他人，哈哈哈哈，暖男🙂