一、简介
1、简介
ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比 如分布式同步,配置管理,集群管理,命名管理,队列管理。它被设计为易于编程,使用文 件系统目录树作为数据模型。服务端跑在 java 上,提供 java 和 C 的客户端 API 众所周知,协调服务非常容易出错,但是却很难恢复正常,例如,协调服务很容易处于 竞态以至于出现死锁。我们设计 ZooKeeper 的目的是为了减轻分布式应用程序所承担的协 调任务 ZooKeeper 是集群的管理者,监视着集群中各节点的状态,根据节点提交的反馈进行下 一步合理的操作。最终,将简单易用的接口和功能稳定,性能高效的系统提供给用户。
ZooKeeper在实现分布式锁、配置维护、组等服务时,首先它设计一种新的数据结构——Znode,然后在该数据结构的基础上定义了一些原语,也就是一些关于该数据结构的一些操作。有了这些数据结构和原语还不够,因为我们的ZooKeeper是工作在一个分布式的环境下,我们的服务是通过消息以网络的形式发送给我们的分布式应用程序,所以还需要一个通知机制——Watcher机制。那么总结一下,ZooKeeper所提供的服务主要是通过:数据结构+原语+watcher机制,三个部分来实现的。
更加详细的原理介绍
文章: Zookeeper学习之路 (一)初识
2、应用场景
统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
二、本地模式安装部署
1、安装jdk,并且配置环境变量
2、解压zookeeper的安装包
3、修改zookeeper中的zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg;
4、打开打开zoo.cfg文件,修改dataDir路径
这里修改了dataDir的路径,还在下面添加了cluster的配置,就是后面集群需要的配置,主要是
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
这里是单机启动,所以先把集群配置注释了。
我这里的hadoop集群是hadoop101、hadoop102、hadoop103
[root@hadoop101 conf]# vim zoo.cfg
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/local/zookeeper/zookeeper-3.4.10/zkData
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#######################cluster##########################
# server.1=hadoop101:2888:3888
# server.2=hadoop102:2888:3888
# server.3=hadoop103:2888:3888
5、操作zookeeper
启动zookeeper
[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh start
查看状态
[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh status
启动zookeeper客户端
[root@hadoop101 zookeeper-3.4.10]# bin/zkCli.sh
退出客户端
quit
停止zookeeper
[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh stop
配置参数详解
Zookeeper中的配置文件zoo.cfg中参数含义解读如下:
- 1.tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。
它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime) - 2.initLimit =10:LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。 - 3.syncLimit =5:LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。 - 4.dataDir:数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。 - 5.clientPort =2181:客户端连接端口
监听客户端连接的端口。
三、zookeeper的分布式部署
1、集群规划
hadoop101 192.168.17.129 zookeeper
hadoop102 192.168.17.130 zookeeper
hadoop103 192.168.17.131 zookeeper
2、同步集群的解压文件到hadoop102和hadoop103
[root@hadoop101 zookeeper]# xsync zookeeper-3.4.10/
3、在zkData目录下面创建myid文件
[root@hadoop101 zkData]# touch myid
[root@hadoop101 zkData]# vim myid
在里面输入集群的编号
1
拷贝文件到其他机器上面,但是记得一定要将对应的机器集群编号修改了,我这里改的是
hadoop101 1
hadoop102 2
hadoop103 3
[root@hadoop101 zkData]# xync myid
4、修改zoo.cfg配置文件
将刚才注释的cluster中三条配置解开
#######################cluster##########################
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
5、集群启动
[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh start
分别执行三台机器的zookeeper,让三台机器都启动,这时候就会发现会有一台是leader其他的两台是follower
6、启动客户端
[root@hadoop101 zookeeper-3.4.10]# bin/zkCli.sh
可以进行一些操作,创建节点,查看数据,创建子节点。等等
四、说明
1、节点类型
2、监听器原理
3、选举机制
1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。
2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。
3)以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么,如图5-8所示。
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的ID比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。
如果文章有什么错误的地方,欢迎留言,感谢大家!!!
----------end----------