分布式应用协调服务Zookeeper
一、zookeeper简介
- Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目
- Zookeeper=文件系统+通知机制
- Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册
- 一旦数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式
二、zookeeper数据结构
- znode
ZooKeeper数据模型的结构与Linux文件系统很像,整体上可以看作是一棵树,树的每个节点称做一个znode。每一个znode默认能够存储1MB的数据,每个znode都可以通过其路径唯一标识 - 节点类型
- PERSISTENT:持久化节点,默认类型
- PERSISTENT_SEQUENTIAL:持久化顺序编号节点
- EPHEMERAL:临时节点
- EPHEMERAL_SEQUENTIAL:临时顺序编号节点
三、zookeeper客户端命令
help --显示所有操作命令
ls path --查看当前znode中所包含的内容
ls2 --查看当前节点数据并能看到更新次数等数据
create --创建节点,默认是持久化节点
get path --获取节点的值
set --设置节点的具体值
stat --查看节点状态
delete --删除节点
rmr --递归删除节点
打开zookeeper客户端:zkCli.sh
创建节点:create /test “”
设置节点具体值:set /test “abc”
获取节点的值:get /test
删除节点:rmr /test
四、zookeeper角色
- Leader(领导者)
负责进行投票的发起和决议,更新系统状态 - Follower(跟随者)
用于接收客户端请求并向客户端返回结果,在选主过程中参与投票 - Observer(观察者)
可以接收客户端连接,将写请求转发给Leader节点。但Observer不参加投票过程,只同步Leader状态。Observer的目的是为了扩展系统,提高读取速度。
如何使用观察者:
在zookeeper集群中使用观察者是非常简单的,仅仅需要修改配置文件里的两个配置即可。
在所有将会配置为zookeeper观察者的节点的zoo.cfg中添加下面一行:
peerType=observer
这行配置告诉zookeeper这台服务器将会成为一个Observers。
其次,在所有的服务器节点,在server定义处需要在末尾增加:observer。例如:
server.1:hadoop001:2888:3888:observer
这会告诉其它服务server.1是一个observer,不会参与投票。
运行下面的命令即可链接到集群:
bin/zkCli.sh -server hadoop001:2888
五、zookeeper选举机制
- 半数机制
- 1.1 集群中半数以上机器存活,集群可用
- 1.2 ZooKeeper工作时,有一个节点为Leader,其他为Follower,Leader是通过内部选举机制临时产生的
- 1.3 Leader选举是保证分布式数据一致性的关键所在
- leader选举触发时机
- 2.1 服务器初始化启动
- 2.2 服务器运行期间无法和Leader保持连接