大数据----Zookeeper学习（2）---ZooKeeper集群操作

ZooKeeper-3.5.7下载链接

集群安装

1.集群规划
在hadoop1，hadoop2，hadoop3三个节点上都部署ZooKeeper。
搭建Hadoop集群详情：
1.https://blog.csdn.net/weixin_46002001/article/details/123586155
2.https://blog.csdn.net/weixin_46002001/article/details/123586921
3.https://blog.csdn.net/weixin_46002001/article/details/123589215
4.https://blog.csdn.net/weixin_46002001/article/details/123589463

2.解压安装
（1）在master节点解压Zookeeper安装包到module目录下
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/
（2）修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7
mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7
3.配置服务器编号
（1）在zookeeper-3.5.7/这个目录下创建 zkData
（2）在zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）

（3）拷贝配置好的 zookeeper 到其他机器上
xsync zookeeper-3.5.7
并分别在 hadoop2、hadoop3 上修改 myid 文件中内容为2、3

4.配置zoo.cfg文件
（1）重命名zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg
mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件
vim zoo.cfg

#修改数据存储路径配置
dataDir=/home/grid/module/zookeeper-3.5.7/zkData

增加如下配置

#############cluster###############
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

（3）配置参数解读
server.A=B:C:D
A 代表第几号服务器；Zookeeper 启动时读取myid文件，与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B 代表服务器地址。
C 是这个服务器 Follower 与 Leader交换信息的端口。
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

（4）同步 zoo.cfg 配置文件

5.集群操作
（1）分别启动 Zookeeper
在每个节点上都执行
bin/zkServer.sh start
（2）查看状态
bin/zkServer.sh status

选举机制（面试重点）

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。

ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。

Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。

Zookeeper选举机制------第一次启动

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上，选举无法完成，服务器1状态保持为LOOKING；
（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己的大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING；
（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为 1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
（5）服务器5启动，同4一样的结果。

Zookeeper选举机制------非第一次启动

（1）当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：

• **服务器初始化启动。
• 服务器运行期间无法和Leader保持连接。**

（2）而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：

• 集群中本来就已经存在一个Leader。 对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连
  接，并进行状态同步即可。
• 集群中确实不存在Leader。

选举Leader规则：
①EPOCH大的直接胜出
②EPOCH相同，事务id大的胜出
③事务id相同，服务器id大的胜出

案例如下：
假设Zookeeper由5台服务器组成，SID分别为1，2，3，4，5，ZXID分别为8，8，8,7，7，并且此时SID为3的服务器是Leader。某一时刻，3和5的服务器出现故障，因此开始Leader选举。
SID为1，2，4的情况(EPOCH，ZXID，SID)为(1,8,1),(1,8,2),(1,7,4)。根据选举规则，最后2号服务器当选Leader。

ZK集群启动停止脚本

（1）在hadoop1的 /home/grid/bin的目录下创建脚本zk.sh
添加如下内容

#!/bin/bash
case $1 in
"start"){
   for i in hadoop1 hadoop2 hadoop3
   do
       echo ---------- zookeeper $i 启动 ------------
       ssh $i "/home/grid/module/zookeeper-3.5.7/bin/zkServer.sh start"
   done
};;
"stop"){
   for i in hadoop1 hadoop2 hadoop3
   do
       echo ---------- zookeeper $i 停止 ------------
       ssh $i "/home/grid/module/zookeeper-3.5.7/bin/zkServer.sh stop"
   done
};;
"status"){
   for i in hadoop1 hadoop2 hadoop3
   do
       echo ---------- zookeeper $i 状态 ------------
       ssh $i "/home/grid/module/zookeeper-3.5.7/bin/zkServer.sh status"
   done
};;
esac

（2）增加脚本执行权限
chmod u+x zk.sh
（3）Zookeeper 集群启动脚本
zk.sh start
（4）Zookeeper 集群停止脚本
zk.sh stop

客户端命令行操作

命令行语法

命令基本语法	功能描述
help	显示所有操作命令
ls path	使用 ls 命令来查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息
create	普通创建 -s 含有序列-e 临时（重启或者超时消失）
get path	获得节点的值 [可监听] -w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

1）启动客户端
bin/zkCli.sh -server hadoop1:2181

2）显示所有操作命令
[zk: hadoop1:2181(CONNECTED) 1] help

ZNode节点数据信息

1）查看当前znode中所包含的内容
[zk: hadoop1:2181(CONNECTED) 0] ls /

2）查看当前节点详细数据

[zk: hadoop1:2181(CONNECTED) 2] ls -s /
[zookeeper]cZxid = 0x0
ctime = Wed Dec 31 16:00:00 PST 1969
mZxid = 0x0
mtime = Wed Dec 31 16:00:00 PST 1969
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

（1）czxid：创建节点的事务 zxid
每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。

（2）ctime：znode 被创建的毫秒数（从 1970 年开始）
（3）mzxid：znode 最后更新的事务 zxid
（4）mtime：znode 最后修改的毫秒数（从 1970 年开始）
（5）pZxid：znode 最后更新的子节点 zxid
（6）cversion：znode 子节点变化号，znode 子节点修改次数
（7）dataversion：znode 数据变化号
（8）aclVersion：znode 访问控制列表的变化号
（9）ephemeralOwner：如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0
（10）dataLength：znode 的数据长度
（11）numChildren：znode 子节点数量

节点类型（持久/短暂/有序号/无序号）

1）分别创建2个普通节点（永久节点+不带序号）

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"

注意：创建节点时，要赋值

2）获得节点的值

get -s /sanguo
get -s /sanguo/shuguo

3）创建带序号的节点（永久节点 + 带序号）
（1）先创建一个普通的根节点/sanguo/weiguo

create /sanguo/weiguo "caocao"

（2）创建带序号的节点

create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/xuchu "xuchu"

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序时从 2 开始，以此类推。

4）创建短暂节点（短暂节点 + 不带序号 or 带序号）
（1）创建短暂的不带序号的节点

create -e /sanguo/wuguo "zhouyu"

（2）创建短暂的带序号的节点

create -e -s /sanguo/wuguo "zhouyu"

（3）在当前客户端查看

ls /sanguo

重新启动客户端后，会发现短暂节点已经全部删除.

5）修改节点数据值

set /sanguo/weiguo "simayi"

6）删除节点

 delete /sanguo/jin
 递归删除节点
 deleteall /sanguo/shuguo

监听器原理

客户端注册监听目录节点，当目录节点发生变化时Zookeeper会通知客户端。
监听机制保证Zookeeper保存的任何的数据改变都能快速响应到监听了该节点的应用程序。

常见的监听
1.监听节点数据的变化

get -w path

2.监听子节点增减的变化

ls -w path