1.什么是Zookeeper?
zookeeper是一个经典的分布式数据一致性解决方案,致力于为分布式应用提供一个高性能、高可用,且具有严格顺序访问控制能力的分布式协调存储服务。
1.1高性能
zookeeper将全量数据存储在内存中,并直接服务于客户端的所有非事务请求,尤其适用于以读为主的应用场景。
1.2高可用
zookeeper一般以集群的方式对外提供服务,一般3~5台机器就可以组成一个可用的zookeeper集群了,每一台机器都会在内存中维护当前的服务器状态,并且每台机器之间都相互保持着通信。只要集群中超过一半机器都能够正常工作,那么整个集群就能够正常对外服务。
1.3严格顺序访问
对于来自客户端的每个更新请求,zookeepe都会分配一个全局唯一的递增编号,这个编号反映了所有事物操作的先后顺序。
2.Zookeeper的应用场景
2.1维护配置信息
java 编 程 经 常会遇到配置 项,比如数据库 的url、schema、user 和 password 等 。 通常这些配置项我们会放置在配置文件中 ,再将配置文件放置在服务器上,当需要更改配置项时,需要去服务器上修改对应的配置文件 。 但是随着分布式系统的兴起 , 由于许多服务都需要使用到该配置文件,因此有必须保证该配置 服务的高可用性 (high availability)和各台服务器上配置数据的一致性 。通常会将此配置文件部署在一个集群上,然而一个集群动辄上千台服务器,此时如果再一台台服务器逐个修改配置文件那将是非常繁琐且危险的操作,因此就需要一种服务, 能够高效快速且可靠地完成配置项的更改等操作, 并能够保证各配置项在每台服务器上的数据 一 致 性 .
Zookeeper就可以提供这样一种服务 , 其使用Zab这种一致性协议来保证一致性 。现在有很多开源项目使用zookeeper来维护配置 ,比如在hbase中 ,客户端就是连接一个zookeeper, 获得必要的hbase集群的配置信息然后才可以进一步操作 。还有在开源的消息队列 kafka 中,也使用zookeeper来维 broker的信息 。 在alibaba开源的Soa框架dubbo中也广泛的使 用 zookeeper 管理一些配置来实现服务治理 。
2.2分布式锁服务
一个集群是一个分布式系统,由多台服务器组成。为了提高并发度和可靠性,多台服务器上运行着同一种服务。当多个服务在运行时就需要协调各种服务的进度,有时候需要保证当某个服务在进行某个操作事,其他的服务都不能进行该操作,即对操作进行加锁,如果当机器挂掉后,释放锁并fail over到其他机器上继续执行该服务。
2.3集群管理
一个集群有时会因为各种软硬件故障或者网络故障,出现某些服务器挂掉而被移出集群,而某些服务器加入集群中的情况,zookeeper会将这些服务器加入/移出的情况通知给集群中的其他正常工作的服务器,以及时调整存储和计算等任务的分配和执行等。此外zookeeper还会对故障的服务器做出诊断并尝试修复。
2.4生成分布式唯一ID
在过去的单库单表的系统中,通常可以使用数据库字段自带的auto_increment属性来自动为每条记录生成一个唯一的ID,但是分库分表后,就无法再依靠该属性来做了。此时我们就可以用zookeeper在分布式环境下生成全局唯一ID。做法如下:每次要生成一个新的ID时,创建一个持久顺序节点,创建操作返回的节点序号即为全局唯一ID,然后把比自己小的节点删除即可。
3.zookeeper的数据结构
zookeeper的数据节点可以视为树状结构(或者目录),树中的各节点被称为znode(即zookeeper node),一个znode可以有多个子节点。zookeeper节点在结构上表现为树状;使用路径path来定位某个znode。
节点类型:有两种,临时节点和持久节点。节点类型在创建的时候确定,不能改变。
- 临时节点:该节点的生命周期依赖于创建它的会话(session),一旦会话结束,临时节点将被自动删除。
- 持久节点:该节点的生命周期不依赖于创建它的会话。
- 算上节点是否有序,也可以说有四种节点类型:有序/无序的零时节点,有序/无序的持久节点。
4.windows下安装单节点Zookeeper
zookeeper官方下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/
我们下载3.4.12 的版本:
下载完毕后解压下,得到:
启动脚本在bin下:
如果我们直接通过cmd运行 zkServer.cmd,会提示异常:
这是因为在conf下没有zoo.cfg的配置文件。我们到conf下复制一份zoo_sample.cfg的配置文件,并改名为zoo.cfg
接着修改zoo.cfg :
dataDir为为zookeeper运行时产生的文件保存地址,其他配置以后再说
到此安装完毕,再次运行zkServer.cmd命令,服务端运行成功,
重开一个cmd窗口,运行zkCli.cmd命令,即可操作zookeeper,下篇文章我们来简单的操作下zookeeper的增删改查