概述:
zookeeper是开源的分布式的,为分布式应用提供协调服务的Apache项目
默认端口:2181
从设计模式理解:
是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关系的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,zookeeper就将负责通知已经在zookeeper上注册的那些观察者做出相应的反应。
zookeeper = 文件系统+通知机制
zookeeper特点:
1 一个领导者(Leader),多个跟随者(Follower)组成的集群
2 集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务(半数机制,读写分离)
3 全局数据一致: 每个server保存一份相同的数据副本,Client无论连接到哪个server,数据都是一致的(不会存在数据量很大的情况,因此只是存储一些配置等信息,一般1M左右,数据量大的适合用hdfs等存储数据)
4 更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行(例如一个client多次向zookeeper的其中一个server发送请求,zookeeper会依次执行client发送过来的消息)
5 数据更新原子性,一次数据更新要么成功,要么失败
6 实时性,在一定时间范围内,client能读取到最新数据(server之间同步数据非常快,数据量非常小。)
数据结构:
应用场景:
提供的服务包括:统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等。
zookeeper内部原理
1 选举机制:
1.1 半数机制:
集群中半数以上机器存活,集群可用。所以zookeeper适合安装奇数台服务器(5台服务器挂掉3台不能工作,6台服务器挂掉3台也不能工作,因此选择奇数台更合适)
1.2 Leader和Follower:
Zookeeper虽然在配置文件中没有指定Master和Slave。但是zookeeper在工作时,是有一个节点为leader,其他则为follower。leader是通过内部选举机制临时产生的。
三个重要参数: zxid(事务id),sid(服务器id,和myid里的一致),epoch(选举)
选举流程:
比如五台zookeeper服务器: z1,z2,z3,z4,z5.
z1启动,looking状态,报错未启动,未达到半数,
2 节点类型:
2.1 持久:客户端和服务器端连接断开后,创建的节点不删除
2.2 短暂:客户端和服务器端连接断开后,创建的节点自己删除
持久有序,持久无序,短暂有序,短暂无序
有序:由父节点维护,用于全局排序,可以通过顺序号推断事件的顺序
create /opt/zk/user "lili": 持久,无序 ,产生的节点就是 "lili"
create -s /opt/zk/user "lili": 持久,有序 ,产生的节点就是 "lili_0000000000"
create -e /opt/zk/user "limeng": 临时,无序 ,产生的节点就是 "limeng"
create -e -s /opt/zk/user "limeng": 临时,有序 ,产生的节点就是 "limeng"
监听器:
监听器原理:
1 首先有一个main()线程
2 在main线程中创建zookeeper客户端,这时就会创建两个线程:一个负责网络连接通信(connect),一个负责监听(listener)
3 通过connect线程将注册的监听事件发送给zookeeper
4 注册的监听事件 添加到 zookeeper的注册监听器列表中
5 zookeeper监听到有数据或者路径变化,就会将这个消息发送给listener线程
6 listener线程内部调用process()方法
常见监听:
1 监听节点数据的变化
2 监听子节点路径数量的变化
写数据流程:
以上图片有瑕疵,leader中应该也要写,所以leader分发的应该是leader,server1,server2
面试真题:
1 请简述zookeeper的选举机制。
答:半数机制,具体阐述半数机制。
2 zookeeper的监听原理是什么?(即zookeeper是怎么监听的)
3 zookeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?
答:单机模式和集群模式。
leader 和 follower
最少3台。
4 zookeeper的常用命令
答:ls, create,get,delete,set...