跟我学习zookeeper入门
一、zookeeper简介
1.1 什么是zookeeper
- zookeeper:字母意思是动物园管理员。
- zooKeeper是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
- 它的核心是:文件系统 + 通知机制
1.2 zookeeper使用场景示例图示
1.3 zookeeper组成
主要包括两部分:文件系统、通知机制
1.2.1 文件系统
ZooKeeper维护一个类似Linux文件系统的数据结构,用于存储数据
- 数据模型结构是一种树形结构,由许多节点构成
- 每个节点叫做ZNode(ZooKeeper Node)
- 每个节点对应一个唯一路径,通过该路径来标识节点,如 /app1/p_2
- 每个节点只能存储大约1M的数据(主要存储的是配置数据)
节点类型有四种: - 持久化目录节点 persistent
客户端与服务器断开连接,该节点仍然存在 - 持久化顺序编号目录节点 persistent_sequential
客户端与服务器断开连接,该节点仍然存在,此时节点会被顺序编号,如:000001、000002… - 临时目录节点 ephemeral
客户端与服务器断开连接,该节点会被删除 - 临时顺序编号目录节点 ephemeral_sequential
客户端与服务器断开连接,该节点会被删除,此时节点会被顺序编号,如:000001、000002…
1.2.2 通知机制
ZooKeeper是一个基于观察者模式设计的分布式服务管理框架
- ZooKeeper负责管理和维护项目的公共数据,并授受观察者的注册(订阅)
- 一旦这些数据发生变化,ZooKeeper就会通知已注册的观察者
- 此时观察者就可以做出相应的反应
简单来说,客户端注册监听它关心的目录节点,当目录节点发生变化时,ZooKeeper会通知客户端
ZooKeeper是一个订阅中心(注册中心)
1.4 分布式系统
1、理解几个概念
- 分布式:
将一个大型应用的不同业务部署在不同的服务器上,解决高并发问题。 - 集群:
将一个业务应用部署到多台服务器上,解决高可以用的问题。
2、分布式系统定义:
A distributed system is de ned as a software system that is composed of independent computing entities linked together by a computer network whose components communicate and coordinate with each other to achieve a common goal.
分布式系统是由独立的计算机通过网络连接在一起,
并且通过一些组件来相互交流和协作来完成一个共同的目标。
想要更好的判断是否为好的分布式系统,可以看这些特性:
- 资源共享,例如存储空间,计算能力,数据,和服务等等
- 扩展性,从软件和硬件上增加系统的规模
- 并发性 多个用户同时访问
- 性能 确保当负载增加的时候,系统想要时间不会有影响
- 容错性 尽管一些组件暂时不可用了,整个系统仍然是可用的
- API抽象 系统的独立组件对用户隐藏,仅仅暴露服务
有了ZooKeeper,开发者可以很轻松的实现:
- 配置管理
- 命名服务
- 分布式锁
- 集群关系操作,检测节点的加入和离开
3、分布式系统的难点
可以想象,假如一台计算机的出错概率为0.1%,那么1000台服务器的出错概率呢?一旦计算机的数量增多,出错的概率就大大的增加。
- 多个相互独立的计算机,假设集群的配置信息在某个Master节点上,其余的节点从Master节点下载配置信息。假如Master节点挂了呢?假设Master节点是故障冗余的,但是配置信息是动态的传递给所有的其余节点的,而不是直接传过去。所有节点之间的信息如何保证一致呢?
- 服务发现的问题,为了增加系统的可靠性,我们一般会在系统中增加更多的服务器。让其它机器知道新加入的节点在集群中的关系和服务,这个设计也需要非常周到的考虑
- 机器数目众多,更容易出现 机器故障,软件崩溃,网络延迟,拓扑改变等等,而这些类型的错误没有规律可循,因此在分布式系统,想实现高容错性是很难的。
当然了…ZooKeeper被设计出来的目的就是解决这种类型的问题.
二、应用场景
2.1 配置管理
- 场景:集群环境、服务器的许多配置都是相同的,如:数据库连接信息,当需要修改这些配置时必须同时修改每台服务器,很麻烦。
- 解决:把这些配置全部放到ZooKeeper上,保存在ZooKeeper的某个目录节点中,然后所有的应用程序(客户端)对这个目录节点进行监视Watch,一旦配置信息发生变化,ZooKeeper会通知每个客户端,然后从ZooKeeper获取新的配置信息,并应用到系统中。
2.2 集群管理
- 场景:集群环境下,如何知道有多少台机器在工作?是否有机器退出或加入?需要选举一个总管master,让总管来管理集群
- 解决:
- 在父目录GroupMembers下为所有机器创建临时目录节点,然后监听父目录节点的子节点变化一旦有机器挂掉,该机器与ZooKeeper的连接断开,其所创建的临时目录节点被删除,所有其他机器都会收到通知。当有新机器加入时也是同样的道理。
- 选举master:为所有机器创建临时顺序编号目录节点,给每台机器编号,然后每次选取编号最小的机器作为master
2.3 负载均衡
ZooKeeper本身是不提供负载均衡策略的,需要自己实现,所以准确的说,是在负载均衡中使用ZooKeeper来做集群的协调(也称为软负载均衡)。
实现思路:
- 将ZooKeeper作为服务的注册中心,所有服务器在启动时向注册中心登陆自己能够提供的服务。
- 服务的调用者到注册中心获取能够提供所需要服务的服务器列表,然后自己根据负载均衡算法,从中选
取一台服务器进行连接 - 当服务器列表发生变化时,如:某台服务器宕机下线,或新机器加入,ZooKeeper会自动通知调用者重新获取服务列表实际上利用了ZooKeeper的特性,将ZooKeeper用为服务的注册和变更通知中心。
三、ZooKeeper安装
ZooKeeper一般都运行在Linux平台
ZooKeeper安装包下载地址:http://zookeeper.apache.org/releases.html
3.1 安装操作步骤
- 1、解压zookeeper3.4.13.tar.gz
tar zxf zookeeper3.4.13.tar.gz
- 2、配置zookeeper
# 创建存放数据文件的目录
cd zookeeper3.4.13/
mkdir data
# 创建配置文件
cd conf
cp zoo_sample.cfg zoo.cfg # 默认使用的是zoo.cfg,名称固定
# 修改配置文件
vi zoo.cfg
dataDir=../data # 指定数据存放目录
- 3、启动zookeeper
cd bin
./zkServer.sh start | stop | status | restart # 启动|停止|查看状态|重启
- 4、客户端连接zookeeper
./zkCli.sh # 启动客户端,默认连接本机的2181端口
或
./zkCli.sh server 服务器地址:端口 # 连接指定主机、指定端口的zookeeper
例如,
./zkCli.sh -server localhost:2181
quit # 退出客户端
[root@ali-master01 bin]# jps # 使用jps查看java进程的信息
1233 activemq.jar
30242 Jps
27517 QuorumPeerMain #这个是zookeeper的进程
399 activemq.jar
windows下的安装zookeeper的操作步骤和Linux的比较相似,有需要的小伙伴网上百度下自行学习下吧。
3.2 配置文件
下面对zookeeper的配置文件zookeeper-3.4.13/conf/zoo.cfg进行下讲解,
配置项 | 描述 | 备注说明 |
---|---|---|
tickTime=2000 | 心跳时间 | 维持心跳的时间间隔,单位是毫秒在zookeeper中所有的时间都是以这个时间为基础单元,进行整数倍配置 |
initLimit=10 | 初始通信时限 | 用于zookeeper集群,此时有多台zookeeper服务器,其中一个 |
为Leader,其他都为Follower | ||
syncLimit=5 | 同步通信时限 | 在运行时Leader通过心跳检测与Follower进行通信,如果超过syncLimit*tickTime时间还未收到响应,则认为该Follower已经宕机 |
dataDir=…/data | 存储数据的目录 | 数据文件也称为snapshot快照文件 |
clientPort=2181 | 端口号 | 默认为2181 |
maxClientCnxns=60 | 单个客户端的最大连接数限制 | 默认为60,可以设置为0,表示没有限制 |
autopurge.snapRetainCount=3 | 保留文件的数量 | 默认3个 |
autopurge.purgeInterval=1 | 自动清理快照文件和事务日志的频率 | 默认为0,表示不开启自动清理,单位是小时 |
dataLogDir= | 存储日志的目录 | 未指定时日志文件也存放在dataDir中,为了性能最大化,一般建议把dataDir和dataLogDir分别放到不同的磁盘上 |
四、zookeeper客户端常用命令
查看指定节点的详细信息: ls2 /
# 子节点名称数组
[zookeeper]
# 节点的状态信息,也称为stat结构体
# 创建该znode的事务的zxid(ZooKeeper Transaction ID)
# 事务ID是ZooKeeper为每次更新操作/事务操作分配一个全局唯一的id,表示zxid,值越小,表示越先执行
cZxid = 0x0 # 0x0表示十六进制数0
# 创建时间
ctime = Thu Jan 01 08:00:00 CST 1970
# 最后一次更新的zxid
mZxid = 0x0
# 最后一次更新的时间
mtime = Thu Jan 01 08:00:00 CST 1970
# 最后更新的子节点的zxid
pZxid = 0x0
# 子节点的变化号,表示子节点被修改的次数,1表示从未被修改过
cversion = 1
# 当前节点的变化号,0表示从未被修改过
dataVersion = 0
# 访问控制列表的变化号 access control list
aclVersion = 0
# 如果临时节点,表示当前节点的拥有者的sessionId
# 如果不是临时节点,则值为0
ephemeralOwner = 0x0
# 数据长度
dataLength = 0
# 子节点数据
numChildren = 1
(create -s /app5 app5)顺序编号节点:
- 顺序编号会紧跟在节点名称后面,节点最终名称为:节点名+序号,如/test0000000005
- 顺序编号是一个递增的计数器
- 顺序编号是由父节点维护,从已有的子节点个数开始(包括临时节点和被删除的节点)
- 如果子节点为空,则从0000000000开始,依次递增1
- 在分布式系统中,顺序编号可以被用于为所有的事件进行全局排序,这样客户端就可以根据序号推断事
件的顺序。
五、zookeeper集群
5.1 配置集群
- 1、准备多台ZooKeeper服务器。
- 2、配置ZooKeeper服务器
在每台服务器的conf/zoo.cfg文件中添加如下内容:
server.20=192.168.4.20:2888:3888
server.21=192.168.4.21:2888:3888
server.22=192.168.4.22:2888:3888
格式: server.A=B:C:D
A表示这台服务器的编号ID,是一个数字
B表示服务器的IP地址或域名
C表示这台服务器与集群中的Leader交换信息时使用的端口
D表示执行选举Leader服务器时互相通信的端口
- 3、创建myid配置文件
在集群环境下,需要在 dataDir 目录中创建一个名为 myid 的文件,文件内容是当前服务器的编号
ID,即上面配置的A
cd data
echo A的值 > myid
ZooKeeper启动时会读取这个文件,将里面的数字与zoo.cfg中配置的server.A进行比较,从而判断这台服务器是哪个。
- 4、测试集群环境
启动所有ZooKeeper服务器,查看状态
此时在某台服务器上执行更新操作时,其他服务器也会同步。
5.2 集群特性
- 一个ZooKeeper集群中,有一个领导者Leader和多个跟随者Follower
- Leader负责进行投票的发起和决议,更新系统状态
- Follower用于接收客户端的请求并向客户端返回结果,在选举Leader过程中参与投票
- 半数机制:集群中只要有半数以上节点存活,集群就能够正常工作,所以一般集群中的服务器个数都为
奇数 - 全局数据一致:集群中每台服务器保存一份相同的数据副本,不论客户端连接到哪个服务器,数据都是
一致的 - 更新请求顺序执行:来自同一个客户端的更新请求,按其发送顺序依次执行
- 数据更新的原子性:一次数据更新,要么成功,要么失败
- 实时性:在一定的时间范围内,客户端能读取到最新数据
5.3 选举机制
选举流程:
- 1、Server1启动,给自己投票,然后发送投票信息,由于其它服务器都还没启动,所以它发现的消息收不到
任何反馈,此时Server1为Looking状态 - 2、Server2启动,给自己投票,同时与Server1通信交换选举结果,由于Server2的id值较大,所以Server2胜
出,但由于投票数没有过半,此时Server1和Server2都为Looking状态 - 3、Server3启动,给自己投票,同时与Server1和Server2通信交换选举结果,由于Server3的id值较大,所以
Server3胜出,此时票数已经过半,所以Server3为Leader,Server1和Server2为Follower - 4、Server4启动,给自己投票,同时与Server1、Server2、Server3通信交换选举结果,尽管Server4的id较
大,但由于集群中已经存在Leader,所以Server4只能为Follower - 5、Server5启动,同Server4类似,只能为Follower
总结:
- 每个服务器在启动时都会选择自己,然后将投票信息发送出去
- 服务器编号ID越大,在选择算法中的权重越大
- 投票数必须过半,才能选出Leader
- 谁是Leader:启动顺序的前 集群数/2+1 个服务器中,id值最大的会成为Leader
5.4 监听机制
5.4.1 监听节点值的变化
# 在集群的A服务器,监听某个节点值的变化
get /yyy watch
# 在集群的B服务器,修改对应节点的值
set /yyy myyyy
# 此时A服务器会收到事件NodeDataChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/yyy
监听Watch事件是一个一次性的触发器,当数据改变时只会触发一次,如果以后这个数据再发生改变,则不会再次触发。
5.4.2 监听节点的子节点变化
# 在集群的A服务器,监听某个节点的子节点的变化
ls /yyy watch
# 在集群的B服务器,创建/修改/删除对应节点的子节点
create /yyy/hello hello
# 此时A服务器会收到事件NodeChildrenChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/yyy
六、Java访问zookeeper
- 1、创建一个Maven工程
- 2、添加pom依赖
此依赖关系可以从maven官网获取:https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper/3.4.13
<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.13</version>
<type>pom</type>
</dependency>
- 3、新建主程序测试类
package com.nick;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.List;
/**
* @author wangteng
* @version 1.0.0
* @ClassName ZookeeperDemo.java
* @Description TODO
* @createTime 2019年08月23日 22:26:00
*/
public class ZookeeperDemo {
/**
*@Description:
*@Author: wangteng
*@date: 2019/8/23
*/
public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
//1、获取zookeeper的连接 创建zookeeper的客户端
String zkserver_url = "39.96.194.34:2181";
//超时时间,单位:ms毫秒
int sessionTimeout = 13000;//此参数值不能设置太小了,否则会导致会话还没有连接上就报错退出了
ZookeeperWatcher zookeeperWatcher = new ZookeeperWatcher();
ZooKeeper zkclient = new ZooKeeper(zkserver_url, sessionTimeout, zookeeperWatcher);
Thread.sleep(3000);
System.out.println("客户端的状态信息="+zkclient.getState());
//2、类似客户端的相关的命令 这里调用对应的api接口
List<String> child = zkclient.getChildren("/", false);
System.out.println(child);
//查看指定节点下的内容
// List<String> children = zkClient.getChildren("/", true);//第二个参数表示是否监视该节点
// System.out.println(children);
//创建节点,OPEN_ACL_UNSAFE表示acl权限列表为完全开放,PERSISTENT表示节点类型为持久化节点
// zkClient.create("/world", "世界".getBytes(),ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
//获取节点的数据(节点的值和节点状态Stat)
// byte[] data = zkClient.getData("/world", true, null);
// System.out.println(new String(data));
// Stat stat = new Stat();
// byte[] data = zkClient.getData("/hello", true, stat);
// byte[] data = zkClient.getData("/hello", new DataWatcher(), stat);
// System.out.println(new String(data));
// // System.out.println(stat);
// System.out.println(stat.getCtime());
// System.out.println(stat.getVersion());
// System.out.println(stat.getDataLength());
//修改节点的数据
// zkClient.setData("/hello","aaa".getBytes(),stat.getVersion()); //第三个参数表示当前节点的数据版本,一般先获取数据stat,然后指定数据版本
// zkClient.setData("/hello", "bbb".getBytes(), 1); //也可以设置为1,表示不检测版本
//删除节点
// zkClient.delete("/hello", 1);
//判断节点是否存在
System.out.println(zkclient.exists("/hello",false)); //存在时返回节点状态,不存在则返回null
//休眠
// Thread.sleep(1000000);
//关闭连接
zkclient.close();
}
}