Hadoop（二）Zookeeper

定义

分布式服务协调框架，本质上是一个分布式小文件存储系统。

架构

主从架构
leader
作用：维护数据一致性，处理用户的读写请求。
follower
作用：负责用户的读数据请求。维护数据的一致性。
observer

特性
全局数据一致性。每个server保存一份相同的数据副本，client无论连接到哪个server，展示的数据都是一致的。
可靠性
如果消息被一台服务器接受那将被所有服务器接受。在主控节点向主控节点发送请求后，主控节点向被控节点发送写请求。最终所有节点上的数据一致。
顺序性
请求的顺序性：如果a消息在b消息前被处理，那所有的机器上面都是a消息在b消息之前被处理。（所有的机器都是这样）
数据更新原子性
数据更新要么成功要么失败，不存在一半成功一半失败的情况
实时性
数据的更新在一段时间内最终都会被所有的机器接收成功。

Zookeeper三台伪集群环境搭建

从国内镜像下载并安装

mkdir /var/lib/zookeeper

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.8-bin.tar.gz

tar -zxvf apache-zookeeper-3.5.8.tar.gz

mkdir /var/lib/zookeeper/node1

mkdir /var/lib/zookeeper/node2

mkdir /var/lib/zookeeper/node3

cd /var/lib/zookeeper/apache-zookeeper-3.5.8/

### 复制出三个伪节点
cp -r ./ /var/lib/zookeeper/node1

cp -r ./ /var/lib/zookeeper/node2

cp -r ./ /var/lib/zookeeper/node3

修改节点配置

cd /var/lib/zookeeper/node1/conf

cp zoo_sample.cfg zoo.cfg

vim修改每个节点下面的zoo.cfg中的以下数据：

# 修改数据的目录如版本号，id 等等
dataDir=/etc/log/zookeeper/node1

# 修改客户端连接的接口，每个主机不一样
clientPort=2182

# 修改主机的通讯接口
# 第一个端口用来集群成员的信息交换
# 第二个端口是在leader挂掉时专门用来进行选举leader所用。
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

增加myid标志文件

echo 1 > /var/lib/hadoop/data1/myid

echo 2 > /var/lib/hadoop/data2/myid

echo 3 > /var/lib/hadoop/data3/myid

启动hadoop

sh /var/lib/hadoop/node1/conf/zkServer.sh start

zookeeper中的shell操作

进入客户端
zkCli.sh

创建节点
create [-s] [-e] path data acl
其中，-s或-e分别制定节点特性，顺序或者临时节点，如果不指定，则表示持久节点；acl用来进行权限控制。客户端与服务端断开连接后临时节点就会消失。

顺序节点指的是整个的服务器的顺序。

通过临时节点可以通过创建连接到主控节点到服务器创建临时节点的方式，判断是否有哪台被控断开连接。

节点的设置是可以参照文件系统的。可以在节点目录下继续设置节点。

#创建永久顺序节点
create -s /test 123

#创建临时节点
create -e /test 123

#创建永久节点
create -s /test 123

#创建临时顺序节点
create -s -e  /test 123

#查看目录下有哪些节点
ls /xxx

#设置节点的值
set /abc world

#删除节点
delete /abc

#递归删除
rmr /aba

zookeeper中的数据模型

既有文件夹的特性也有文件的特性（除临时节点）。
每个节点为znode，znode只能通过绝对路径来引用。

znode的四种类型

PERSISTENT 永久节点
EPHEMERAL 临时节点
PERSISTENT_SEQUENTIAL 永久节点顺序化
EPHEMERAL_SEQUENTIAL 临时节点顺序化

znode的节点属性

dataVersion： 数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据）可有效避免了数据更新时出现的先后顺序问题。

cversion： 子节点的版本号，如果znode的子节点有变化的时候，cversion都会增加1

aclVersion： ACL版本号

cZxid： Znode创建的事务id

mZxid： Znode被修改的事务ID，每次对znode的修改都会更新mZxid。

zk的事务

待补充

zk的watch机制

zk提供了分布式数据发布，订阅功能，一个典型的发布订阅模式系统，定义了一种一对多的订阅关系，可以让多个订阅者同时监听一个主题对象。当这个主题对象自身变化的时候，会通知所有的订阅者，使他们能够做出相应的处理。

zk允许客户端向服务端注册一个watcher监听，当服务端触发了一些事件，那么就会向指定的客户端发送一个事件通知来实现分布式的通知功能。主要过程为

1、客户端向服务端注册watcher
2、服务端时间触发watcher
3、客户端回调watcher得到触发事件情况

机制特点
1、一次性触发：监听器只能监听一次，监听后监听器就消失
2、事件封装：所有的节点的变化都封装成了对应的事件的变化
3、异步操作：监听器与节点的操作都是异步的
4、先注册再触发