大数据系列（1）-Zookeeper

大数据系列（1）-Zookeeper

Zookeeper 本地安装

1）安装前准备

（1）安装 JDK
（2）拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
（3）解压到指定目录

$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

（4）修改名称

$ mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7

2）修改配置

（1）将/opt/module/zookeeper-3.5.7/conf 这个路径下zoo_sample.cfg 修改为 zoo.cfg。

$ mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件，修改 dataDir 路径：

$ vim zoo.cfg
修改如下内容：
dataDir=/opt/module/zookeeper-3.5.7/zkData

（3）在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹

$ mkdir zkData

3)操作Zookeeper

（1）启动 Zookeeper

$ bin/zkServer.sh start

（2）查看进程是否启动

$ jps

（3）查看状态

$ bin/zkServer.sh status

（4）启动客户端

$ bin/zkCli.sh

（5）退出客户端：quit
（6）停止 Zookeeper

$ bin/zkServer.sh stop

4）配置参数解读

（1）tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
（2）initLimit = 10：LF初始通信时限
Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）
（3）syncLimit = 5：LF同步通信时限
Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
（4）dataDir：保存Zookeeper中的数据
注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。
（5）clientPort = 2181：客户端连接端口，通常不做修改。

Zookeeper 集群操作

注：基本安装同上本地安装

1）配置服务器编号

在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件，在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格），并分别在其他服务器上修改 myid 文件中内容。
注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++里面很可能乱码。

2）配置zoo.cfg文件

增加如下配置：

#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

配置参数解读：

server.A=B:C:D
A 是一个数字，表示这个是第几号服务器；集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B 是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

ZK 集群启动停止脚本

#!/bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
status"
done
};;
esac

Zookeeper客户端命令行操作

$ ls /  #查看当前znode中所包含的内容
$ ls -s / #查看当前节点详细数据
$ create /sanguo "diaochan"  #创建普通节点（永久节点 + 不带序号）创建节点时要赋值
$ get -s /sanguo  #获得节点的值
$ create -s /sanguo/weiguo/zhangliao "zhangliao"  #创建带序号的节点（永久节点 + 带序号）
$ create -e /sanguo/wuguo "zhouyu"  #创建短暂的不带序号的节点
$ create -e -s /sanguo/wuguo "zhouyu"  #创建短暂的带序号的节点
$ set /sanguo/weiguo "simayi"  #修改节点数据值
$ get -w /sanguo  #上注册监听/sanguo 节点数据变化 注册一次，只能监听一次
$ ls -w /sanguo  #注册监听/sanguo 节点的子节点变化
$ delete /sanguo/jin  #删除节点
$ deleteall /sanguo/shuguo  #递归删除节点
$ stat /sanguo  #查看节点状态

节点信息参数解读

（1）czxid：创建节点的事务 zxid每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。
（2）ctime：znode 被创建的毫秒数（从 1970 年开始）
（3）mzxid：znode 最后更新的事务 zxid
（4）mtime：znode 最后修改的毫秒数（从 1970 年开始）
（5）pZxid：znode 最后更新的子节点 zxid
（6）cversion：znode 子节点变化号，znode 子节点修改次数
（7）dataversion：znode 数据变化号
（8）aclVersion：znode 访问控制列表的变化号
（9）ephemeralOwner：如果是临时节点，这个是 znode 拥有者session id。如果不是临时节点则是 0。
（10）dataLength：znode 的数据长度
（11）numChildren：znode 子节点数量