zookeeper技术内幕一

一、数据模型

zookeeper和unix非常相似,使用了特有的“数据节点”,称之为ZNode。znode是zookeeper最小的数据单元,,每个节点可以保存数据,同时可以挂载子节点,构成层级化结构,称为树

二、节点特性

1、持久节点PERSISTENT
持久节点,是指该数据节点被创建后,就会一直存在zookeeper服务器上,直到有删除操作才会主动消除这个节点
2、持久顺序节点PERSISTENT_SEQUENTIAL
持久化顺序节点,额外的特性表现在顺序性上,每个父节点会为他的第一级子节点维护一份顺序,用户记录下每个子节点创建的先后顺序
3、临时节点EPHEMERAL
临时节点的生命周期和客户端的会话绑定在一起,也就是说,如果客户端会话失效,那么这个节点就会被自动清除,这里的会话失效,并不代表tcp连接断开,另外临时节点并不能创建子节点,只能作为叶子节点
4、临时顺序节点EPHEMERAL_SEQUENTIAL
基本特性和持久化顺序节点是一样的,只不过周期也是和客户端同生共死

三、版本-保证分布式数据原子性操作

zookeeper为数据节点引入了版本的概念,每个数据节点都具有三种类型的版本信息,对数据节点的任何更新操作都会引起版本号的改变
version 当前数据节点数据内容的版本号
cversion当前数据子节点的版本号
aversion当前数据节点acl变更的版本号
先介绍一下锁的概念
悲观锁:数据库中 一种严格非常典型的并发控制策略
原理中如果一个事务正在对数据进行处理,那个整个处理过程中,都会将数据处于锁定状态,这期间无法做其他操作,直到该事务完成了对数据的处理,释放了锁的状态,适合数据竞争非常激烈的场景
乐观锁:在更新请求提交之前,每个事务都会检查当前事务读取数据后,是否有其他事物对其进行了修改。如果其他事务有更新的操作,当前事务就进行回滚,乐观锁通常适合使用在数据并发竞争不大,事务冲突较少的场景中
事实上zookeeper的version属性就是采用乐观锁的机制实现的

四、Watcher工作机制

zookeeper的watcher机制,可以分为三个过程,客户端注册watcher、服务端处理watcher、客户端回调watcher
1、客户端注册watcher
a、首先当客户端创建一个zookeeper实例时,会产生一个默认的watcher,这个watcher会作为整个会话当中默认的watcher,一直保存在zkwatcherManager的defaultWatcher中。
b、在利用接口注册watcher后,客户端首先会在当前的客户端请求request进行标记,设置为在使用watcher监听,同时会将注册信息封装成一个对象在watchRegistration中
c、packet可以看作一个最小的通信协议单元,用于客户端和服务器之间的网络通信,任何对象都要被包装成一个packet。所以watchRegistration又会被封装到packet对象中,放入队列中等待客户端发送
d、zookeeper客户端发送请求之后,同时等待请求的返回,客户端sendthread线程的readresponse方法负责接收来自服务器的响应
e、响应成功后,会从packet中取出对应的watcher,注册到zkwatchManager中去,并且保存在dataWatches中
f、每次注册Watcher并不会将watcher实体全部发送到服务端,那样会照成性能问题和内存紧张,packet只会将requestHeader和request两个属性进行序列化,等待被发送
2、服务器处理watcher
a、服务器接收到客户端的请求后,首先在finalRequestProcessor的方法中判断当前请求是否需要注册watcher,当为true的时候,认为当前请求需要进行注册,此时会将数据节点的节点路径和serverCnxn储存到watchManager中的watchTable和watch2Paths中
watchtable 从数据节点路径的粒度来控制watcher
watch2paths 从watcher的粒度来控制事件触发的数据节点
同时watchManager还负责watcher的触发,和移除已经触发的watcher
b、当对应的节点数据内容发生变更,watchmanager的triggerwatch方法来触发相关事件
触发过程分为三步:
1、封装watchedevent对象
2、查询watcher,通过节点路径在watchtable中查找,如果没有找到说明没有注册,直接退出,如果找到直接提取出来,并且删除watchtable和watch2paths中的watcher,触发一次失效
3、调用process方法来触发watcher,在请求头标记“-1”,表明当前一个通知,将watchwahedevent爆炸成watcherEvent,以便网络化传输,最后向客户端发送通知
3、客户端回调watcher
a、对于服务器的响应分为四步:
1、反序列化对象watcherEvent
2、处理chrootPath,生成客户端一个相对节点路径
3、还原watchedEvent,将watcherEvent转换成wathedEvent
4、回调watcher,将对象watchedevent对象交给eventThread
b、上文中提到sendthread接收服务器的通知事件后,会通过eventThread.queueEvent方法通知事件,在zkwatchmanager中去出相关的watcher,同时去除响应的wathcer,watcher机制也是一次性的,一旦触发后就失效了

总结

一次性:无论是客户端还是服务器,一旦一个watcher触发,zookeeper就会从储存中移除,因此需要反复的注册
客户端串行执行:客户端回调的时候是一个串行同步的过程,保证了顺序
轻量:watchedevent是zookeeper整个watcher通知机制的最小通知单元,这个数据结构只包含三个内容:通知状态、事件类型、节点路径

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值