Zookeeper的原理
Zookeeper的概述:
ZooKeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。
ZooKeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。
例如:一组服务器集群、一组客户端,全部通过ZooKeeper注册,如果一台服务节点宕机,则ZooKeeper集群可以监测宕机几点服务器状态并通知客户端。
ZooKeeper的特点:
- ZooKeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
- 集群中只要有半数以上的节点存活,ZooKeeper集群就能正常服务。
- 全局数据一致性:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
- 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。
- 数据更新原子性,一次数据更新要么成功,要么失败。
- 实时性,在一定时间范围内,Client能读到最新数据。
ZooKeeper的数据结构
ZooKeeper数据模型的结构与Unix文件系统类似,整体上可以看做是一棵树,每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
ZooKeeper应用场景
提供的服务包括:统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等。
ZooKeeper的内部原理
选举机制
半数机制:集群中半数以上机器存活,集群可用。所以ZooKeeper适合安装奇数台服务器。
ZooKeeper虽然在配置文件中没有指定Master和Slave,但是在集群工作时,是有一个节点为Leader,其他节点为Follower的,Leader是通过内部的选举机制临时产生的。
初始化集群选举机制的解释:五台服务器的集群为例,当第一台服务器启动后,给自己投票,此时不符合半数机制(配置文件中已经配置了五台服务器);第二台服务器启动时,投自己一票,此时仍然不符合半数机制,所以第一台服务器的票也投给第二台服务器;第三台服务器启动,投自己一票,此时还是不符合半数机制,所以第一台、第二台服务器都将票投给第三台服务器,现在符合了半数机制,所以Leader为第三台服务器。
ZooKeeper的节点类型-了解
- 持久(Persistent)
持久化目录节点:
客户端与ZooKeeper断开连接后,该节点依旧存在。
持久化顺序编号目录节点
客户端与ZooKeeper断开连接后,该节点依旧存在,只是ZooKeeper给该节点名称进行顺序编号。
说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断时间的顺序。 - 短暂
临时目录节点
客户端与ZooKeeper断开连接后,该节点被删除。
临时顺序编号目录节点
客户端与ZooKeeper断开连接后,该节点被删除,只是ZooKeeper给该节点名称进行顺序编号。
监听器的原理
一)、监听器的原理详解
- 首先要有一个main()线程。
- 在main()线程中创建ZooKeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet),一个负责监听(listener)。
- 通过connect线程将注册的监听事件发送给ZooKeeper。
- 在ZooKeeper的注册监听器列表中将注册的监听事件添加到列表中。
- ZooKeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。
- listener线程内部调用process()方法(程序员自己写的方法)。
二)、常见的监听
- 监听节点数据的变化
get path [watch]
- 监听子节点增减的变化
ls path [watch]
Zookeeper的安装
下载Zookeeper
官方网站:https://zookeeper.apache.org/
使用的版本:zookeeper-3.4.10.tar.gz
上传到/export/software目录
解压到/export/servers目录
[root@hadoop001 ~]