Zookeeper学习总结

经过几天的学习剖解了下zookeeper学习，包含zookeeper的特点、角色 、优点、为什么要使用zookeeper、zookeeper的单机运行及集群搭建、主要配置文件zoo.cfg的参数简单解释、常见错误等，希望对初学者有用！当前个人理解有限，有不足之外欢迎交流指正！

一、简介

Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务

它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等

二、zookeeper的角色

1. 领导者（leader），负责进行投票的发起和决议，更新系统状态
2. 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
3. Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度
4. 客户端（client），请求发起方

 

三、为什么使用Zookeeper

1. 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）

2. 目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制

3. 协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器

4. ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用

• znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的功能包括配置的集中管理，集群管理，分布式锁等等。

四、Zookeeper的节点

1. Znode有两种类型，短暂的（ephemeral）和持久的（persistent）

2. Znode的类型在创建时确定并且之后不能再修改

3. 短暂znode的客户端会话结束时，zookeeper会将该短暂znode删除，短暂znode不可以有子节点

4. 持久znode不依赖于客户端会话，只有当客户端明确要删除该持久znode时才会被删除

5. Znode有四种形式的目录节点，PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL

 

• znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和 服务器通过心跳来保持连接，这个连接状态称为 session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了；持久化目录节点，这个目录节点存储的数据不会丢失；顺序自动编号的目录节点，这种目录节点会根据当前已近存在的节点数自动加 1，然后返回给客户端已经成功创建的目录节点名；临时目录节点，一旦创建这个节点的客户端与服务器端口也就是 session 超时，这种节点会被自动删除；临时自动编号节点

Zookeeper的安装和配置（单机模式）

1. 解压：tar xzf zookeeper-3.4.5.tar.gz

2. 在conf目录重命名配置文件zoo_sample.cfg为zoo.cfg  （mv zoo_sample.cfg zoo.cfg ）

3. dataDir=/usr/local/zk/data（需要创建data目录）
4. 启动ZooKeeper的Server：sh bin/zkServer.sh start, 如果想要关闭，输入：zkServer.sh stop

 

只运行在一台服务器上，适合测试环境；Zookeeper 的启动脚本在 bin 目录下；在启动脚本之前，还有几个基本的配置项需要配置一下， tickTime ：这个时间是作为 Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个  tickTime  时间就会发送一个心跳；dataDir：顾名思义就是 Zookeeper保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里；clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。当这些配置项配置好后，就可以启动Zookeeper 了，启动后使用命令echo ruok | nc localhost 2181检查 Zookeeper 是否已经在服务

 

 

六、Zookeeper的安装和配置（集群模式）

1. zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。

zookeeper安装目录创建data目录，并且在data目录,创建myid文件，server1机器的内容为：1，

server2机器的内容为：2，server3机器的内容为：3

[root@hadoop01app]# ls

hadoop-1.1.2   zookeeper-3.4.5.tar.gz

[root@hadoop01app]# tar -zxvf zookeeper-3.4.5.tar.gz

[root@hadoop01app]# cd zookeeper-3.4.5

[root@hadoop01zookeeper-3.4.5]#

[root@hadoop01zookeeper-3.4.5]# mkdir data

[root@hadoop01zookeeper-3.4.5]# cd data/

[root@hadoop01data]# ls

[root@hadoop01data]# touch myid

[root@hadoop01data]# vi myid

1

[root@hadoop01data]# vi myid

[root@hadoop01data]# cd ..

[root@hadoop01zookeeper-3.4.5]# ls

bin        CHANGES.txt  contrib dist-maven  ivysettings.xml  lib         NOTICE.txt           README.txt  src                  zookeeper-3.4.5.jar.asc  zookeeper-3.4.5.jar.sha1

build.xml  conf        data     docs        ivy.xml          LICENSE.txt  README_packaging.txt  recipes    zookeeper-3.4.5.jar zookeeper-3.4.5.jar.md5

2. 在conf目录重命名配置文件zoo_sample.cfg为zoo.cfg（mv zoo_sample.cfg zoo.cfg ）

[root@hadoop01zookeeper-3.4.5]# cd conf/

[root@hadoop01conf]# ls

configuration.xsl  log4j.properties  zoo_sample.cfg

[root@hadoop01conf]# mv zoo_sample.cfg zoo.cfg

[root@hadoop01conf]# ls

configuration.xsl  log4j.properties  zoo.cfg

3. 修改dataDir=/usr/share/app/zookeeper-3.4.5/data                            
4. 文件末尾添加

server.1=hadoop01:2888:3888                              

server.2=hadoop02:2888:3888                               

server.3=hadoop03:2888:3888

 

[root@hadoop01conf]# vi zoo.cfg

 

#The number of milliseconds of each tick

tickTime=2000

#The number of ticks that the initial

#synchronization phase can take

initLimit=10

#The number of ticks that can pass between

#sending a request and getting an acknowledgement

syncLimit=5

#the directory where the snapshot is stored.

#do not use /tmp for storage, /tmp here is just

#example sakes.

#dataDir=/tmp/zookeeper(修改前)

dataDir=/usr/share/app/zookeeper-3.4.5/data  （修改后）

#the port at which the clients will connect

clientPort=2181

#

#Be sure to read the maintenance section of the

#administrator guide before turning on autopurge.

#

#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

#The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

#Purge task interval in hours

#Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=hadoop01:2888:3888                              

server.2=hadoop02:2888:3888                               

server.3=hadoop03:2888:3888（追加内容）

   5. 添加环境变量

[root@hadoop01zookeeper-3.4.5]# vi /etc/profile

exportZOOKEEPER_HOME=/usr/share/app/zookeeper-3.4.5

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/lib:$ZOOKEEPER_HOME/bin

[root@hadoop01zookeeper-3.4.5]# source /etc/profile

   6.文件拷贝环境变量文件还zookeeper文件（前提是已经配置好了ssh免密码登录）

[root@hadoop01zookeeper-3.4.5]# scp -r /usr/share/app/zookeeper-3.4.5hadoop02:/usr/share/app/

[root@hadoop01 zookeeper-3.4.5]# scp -r/usr/share/app/zookeeper-3.4.5 hadoop03:/usr/share/app/

[root@hadoop01 zookeeper-3.4.5]# scp -r /etc/profile hadoop02:/etc/

[root@hadoop01 zookeeper-3.4.5]# scp -r /etc/profile hadoop03:/etc/

 

切换到hadoop02修改 myid值为2，切换到hadoop03修改 myid值为3

[root@hadoop02 app]# vi/etc/profile

[root@hadoop02app]# cd /usr/share/app/zookeeper-3.4.5/data/

[root@hadoop02data]# vi myid

2

 

[root@hadoop03 ~]# vi /etc/profile

[root@hadoop03~]# cd /usr/share/app/zookeeper-3.4.5/data/

[root@hadoop03data]# vi myid

3

7.启动查看 hadoop01,hadoop02,hadoop03分别执行zkServer.shstart启动  zkServer.sh status查看状态（leader\follwer）,jps查看进程 （出现QuorumPeerMain进程表示成功！）

[root@hadoop03data]# zkServer.sh start

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Startingzookeeper ... STARTED

 

[root@hadoop01zookeeper-3.4.5]# zkServer.shstatus

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode:follower

[root@hadoop01zookeeper-3.4.5]# jps

1271NameNode

1722Jps

1395SecondaryNameNode

1470JobTracker

1637QuorumPeerMain

 

 

[root@hadoop02data]# zkServer.sh status

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode:leader

[root@hadoop02data]# zkServer.sh status

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode:leader

[root@hadoop02data]# jps

1478Jps

1396QuorumPeerMain

1276TaskTracker

1225DataNode

 

[root@hadoop03data]# zkServer.sh start

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Startingzookeeper ... STARTED

[root@hadoop03data]# zkServer.sh status

JMXenabled by default

Usingconfig: /usr/share/app/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode: follower

[root@hadoop03data]# jps

1415 QuorumPeerMain

1465Jps

1224DataNode

1275TaskTracker

zookeeper最小集群搭建成功！

 

Zookeeper 不仅可以单机提供服务，同时也支持多机组成集群来提供服务 , 实际上 Zookeeper 还支持另外一种伪集群的方式，也就是可以在一台物理机上运行多个Zookeeper 实例；nitLimit：这个配置项是用来配置Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10 秒；syncLimit：这个配置项标识 Leader与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒；server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与zoo.cfg 里面的配置信息比较从而判断到底是那个 server。分别在3台机器上启动ZooKeeper的Server：shbin/zkServer.sh start；运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble）。Zookeeper通过复制来实现高可用性，只要集合体中半 数以上的机器处于可用状态，它就能够保证服务继续。为什么一定要超过半数呢？这跟Zookeeper的复制策略有关：zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。

 

七、zoo.cfg配置文件中参数详解

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：

 

1.tickTime：CS通信心跳时间

Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。

tickTime=2000 

 

2.initLimit：LF初始通信时限

集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。

initLimit=5 

 

3.syncLimit：LF同步通信时限

集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。

syncLimit=2 

 

4.dataDir：数据文件目录

Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。

dataDir=/home/michael/opt/zookeeper/data 

 

5.clientPort：客户端连接端口

客户端连接 Zookeeper服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

clientPort=2181

 

6.服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）

这个配置项的书写格式比较特殊，规则如下：

server.N=YYY:A:B

 

server.1=hadoop05:2888:3888

server.2=hadoop06:2888:3888

server.3=hadoop07:2888:3888

zkServer.sh star启动

 

八、常见错误：

Zookeeper启动成功，zkServer.shstatus 报错

 

当安装zookeeper集群启动后，使用jps能看zookeeper的进程。但是使用zkServer.shstatus 看出角色时报Errorcontacting service. It is probably not running.的错误。网上很多人说是nc的问题，但是我使用的是3.4.5版本，zkServer.sh中status）中没有nc.后来经过一番分析，发现不知道是什么时候防火墙打开了。关闭了防火墙就成功了。真是郁闷，浪费一晚上时间。

1.使用service iptables stop 关闭防火墙

2.使用service iptables status确认

3.避免下次开机防火墙自启动。使用chkconfig iptables off禁用防火墙