Component 分布式协调服务 - Zookeeper

介绍

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper包含一个简单的原语集,提供Java和C的接口。
ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。

基本原理

ZooKeeper集群由一组Server节点组成,这一组Server节点中存在一个角色为Leader的节点,其他节点都为Follower。当客户端Client连接到ZooKeeper集群,并且执行写请求时,这些请求会被发送到Leader节点上,然后Leader节点上数据变更会同步到集群中其他的Follower节点。

ZooKeeper采用一种称为Leader election的选举算法(也有称做:分布式选举算法-Paxos)的。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会采用该算法重新选出一个Leader,ZooKeeper用于三台以上的服务器集群之中,只要还有超过半数的服务器在线,ZooKeeper就能够正常提供服务,过半,意味着实际能够有效参与选举的节点数量是奇书个数,否者不能有效的过半。

Zookeeper逻辑图如下:

Zookeeper 逻辑图

  1. 客户端可以连接到每个server,每个server的数据完全相同。
  2. 每个follower都和leader有连接,接受leader的数据更新操作。
  3. Server记录事务日志和快照到持久存储。
  4. 大多数server可用,整体服务就可用。
  5. Leader节点在接收到数据变更请求后,首先将变更写入本地磁盘,以作恢复之用。当所有的写请求持久化到磁盘以后,才会将变更应用到内存中。
  6. ZooKeeper使用了一种自定义的原子消息协议,在消息层的这种原子特性,保证了整个协调系统中的节点数据或状态的一致性。Follower基于这种消息协议能够保证本地的ZooKeeper数据与Leader节点同步,然后基于本地的存储来独立地对外提供服务。
  7. 当一个Leader节点发生故障失效时,失败故障是快速响应的,消息层负责重新选择一个Leader,继续作为协调服务集群的中心,处理客户端写请求,并将ZooKeeper协调系统的数据变更同步(广播)到其他的Follower节点。

安装

Zookeeper 下载地址

在这里,我选择了 zookeeper-3.4.6.tar.gz 并安装在了 CentOS7 上,当然,Zookeeper 也有 Windows 版。

# wget http://www.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
# tar -xzvf zookeeper-3.4.6.tar.gz
# cd zookeeper-3.4.6

目录结构

Zookeeper 目录结构

# cd conf
# cp zoo_sample.cfg zoo.cfg
# vim zoo.cfg
  • zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/usr/local/zookeeper/zookeeper-3.4.6/data    #保存数据目录
dataLogDir=/usr/local/zookeeper/zookeeper-3.4.6/log  #保存日志目录
server.1=ip:2888:3888   #ip为服务器的ip
server.2=ip:2888:3888   #ip为服务器的ip
server.3=ip:2888:3888   #ip为服务器的ip

这里的 data 和 log 需要自己创建 mkdir 命令创建

在/usr/local/zookeeper/zookeeper-3.4.6/data目录下创建一个文件:myid

分别在myid上按照配置文件的server.<id>中id的数值,在不同机器上的该文件中填写相应过的值
ip 的myid内容为1
ip 的为2
ip 的为3
ip为服务器的ip 这里对应上面的server.1,server.2,server.3

  • 全局配置

创建一个环境变量ZOOKEEPER_HOME并把该环境变量添加到系统路径:
vim /etc/profile

在export PATH语句前添加两行:

ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.4.6
PATH=$PATH:$ZOOKEEPER_HOME/bin

并执行 source /etc/profile

zkServer.sh

Zookeeper 的运行依赖 JRE,记得要先装好。

此时安装成功,进行测试:

  1. 进入zookeeper的bin目录,执行./zkServer.sh start进行启动zookeeper
  2. 查看状态 进入bin目录,执行./zkServer.sh status
  3. 停止 进入bin目录,执行./zkServer.sh stop

zkCli.sh

ZooKeeper命令行工具类似于Linux的shell环境,不过功能肯定不及shell啦,但是使用它我们可以简单的对ZooKeeper进行访问,数据创建,数据修改等操作. 使用 zkCli.sh -server 127.0.0.1:2181 连接到 ZooKeeper 服务,连接成功后,系统会输出 ZooKeeper 的相关环境以及配置信息。

命令行工具的一些简单操作如下:

  1. 显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
  2. 显示根目录下、文件: ls2 / 查看当前节点数据并能看到更新次数等数据
  3. 创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串
  4. 获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
  5. 修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置
  6. 删除文件: delete /zk 将刚才创建的 znode 删除
  7. 退出客户端: quit
  8. 帮助命令: help

资源

Zookeeper 官网

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值