一、Zookeeper是什么
官方文档是这么解释Zookeeper的:它是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。它提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、配置管理、集群管理、共享锁/同步锁等。从设计模式角度来看,它是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理集群中所有结点都关心的数据,然后接受观察者(集群中的结点)的注册,如果这些数据的状态发生改变,zookeeper就会通知已经在Zookeeper上注册过的那些观察者作出相应的反应,从而实现集群中类似于Master/Slave的管理模式。
二、Zookeeper相关信息
1、zookeeper的数据结构
Zookeeper的命名空间的结构和文件系统很像,一个名字和文件一样使用/作为路径表现,zookeeper的每个结点都是被路径唯一标识的
2、Zookeeper的角色
3、Zookeeper服务的流程图
下图展示一个Zookeeper服务的流程图
三、安装和配置详解
1、单机模式
(1)安装JDK、配置环境变量,验证java --version
JDK的安装请参考该链接
(2)下载、解压
下载地址:http://apache.datagutu.cn/zookeeper/
解压:tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app
(3)配置
a、更改zookeeper安装目录下的conf文件夹下的zoo_sample.cfg为zoo.cfg
b、配置参数详解
tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳
dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里
clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求
c、在zoo.cfg文件内配置数据存储目录:
d、 回到安装目录下创建上面配置的数据存储目录
(4)启动:bin/zkServer.sh start
(5) Zookeeper的使用
a、启动客户端:bin/zkCli.sh
b、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
c、使用 help命令来查看zookeeper有哪些命令
具体使用你可以根据上面的命令去尝试
d、使用quit
命令推出客户端
2、集群模式安装
(1) 首先确保已经搭建好了集群,具体搭建可以参考CentOS下hadoop的分布式搭建
(2) 在单机模式的基础上,修改配置文件conf/zoo.cfg,添加如下内容:
(3) 使用远程命令将zookeeper安装目录分发到各个机器上面(注意一定是到同一安装目录下)
(4) 在各个机器安装的数据存储目录下创建myid文件
命令: touch myid
编辑:vim myid
内容:注意内容应该与zoo.cfg中的id对应。如hadoop1机器上对应的是server.1则myid中的内容为1.
(5) 配置参数详解
initLimit:这个配置项是用来配置Zookeeper客户端(
注意这里的客户端不是用户连接到Zookeeper服务器的客户端,而是Zookeeper服务器集群中连接到Leader的Follower服务器
)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳时间(也就是ticktime)长度后zookeeper服务器还没收到客户端的返回信息,那么表明这个客户端链接失败
syncLimit:这个配置项标识Leader与Follower之间发送信息,请求和应答时间长度,最长不能超过多少个ticktime的时间长度,总的时间长度就是2*2000=2秒
server.A=B:C:D:其中 A 是一个数字,表示这个是
第几号服务器
;B 是这个服务器的 ip 地址
;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口
;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口
。
集群模式下配置一个myid,这个文件在dataDir目录下,这个文件里面就有一个A的值,Zookeeper启动时,读取次文件,拿到脸的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server
(5) 启动
在各个机器zookeeper安装目录下执行:bin/zkServer.sh start
,并执行 bin/zkServer.sh status
查看角色
可以看到,第二台机器是leader,其余两台是follower。