zookeeper学习笔记系列
zookeeper是一个开源的分布式服务管理框架,为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性问题。
ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。
zookeeper工作机制
- 观察者模式的分布式服务管理框架
- 存储和管理大家关心的数据,然后接受观察者的注册
- 一旦数据发生变化,zookeeper将通知观察者们
- Zookeeper = 文件系统(管理关心的数据,如服务器列表和在线情况)+通知机制
zookeeper集群
如下图,zookeeper中一般有2n+1个服务器节点,客户端连接其中某一个服务器可以执行读写数据,也可以注册观察数据的变化。
特点
-
主从机制:zookeeper是一个leader,多个follower的集群
-
半数机制:集群中只要有半数以上节点存在,zookeeper集群就能正常运行
-
全局数据一致:每个server(节点)都保存同一份数据副本,客户端连接哪一个都一样
-
更新请求顺序执行:来自同一个client的更新请求顺序依次执行
-
**原子性:**只执行完全成功或者失败回溯
-
实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。
-
可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。
-
顺序性
:包括全局有序和偏序两种:
- 全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;
- 偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。
集群角色
Leader:
- 事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各个服务器的调度者。
- 对于create, setData,delete等有写操作的请求,则需要统一转发给leader处理,leader需要决定编号、执行操作,这个过程称为一个事务。
Follower:
- 处理客户端非事务(读操作)请求,转发事务请求给Leader;参与集群Leader选举投票。
zookeeper数据结构
zookeeper的每一个节点存储的内容都相同,其存储的内容其实为一个树状图的数据结构,如下:
- 初始化的时候有一个根节点 /
- 整体上为一颗树
- 每个节点ZNode可以通过路径唯一标识
- 每个ZNode内部可以存储数据
- 每个Znode默认存1MB数据
应用场景
- 统一命名服务:在分布式环境下,需要对服务进行唯一标识
- 统一配置管理:配置文件需要对于分布式环境一致,同时修改一个节点,全局要同步
- 统一集群管理:实时节点状态变化
- 服务器动态上下线:客户端实时观察服务器的状态变化
- 软负载均衡:在zookeeper中记载每台服务器的访问记录,让访问数最少的服务器去处理最新的请求