Zookeeper的概念
Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目,zookeeper = 文件系统 + 通知机制
Zookeeper的数据结构
与linux的文件系统类似,有根目录/,根目录下可以衍生很多的子目录,这些子目录就是结点
Zookeeper的应用
Zookeeper可以做什么?
-
统一的命名服务
在分布式系统中,有大量的服务器,服务器涉及到很多的ip地址和端口号,不容易记忆和管理
可以使用zookeeper,把这些ip地址和端口号通过一个名字来进行管理- 统一的配置管理
在分布式应用中,每个应用都是独立的,所以每个应用可能都会有一个配置文件,所以在维护管理上非常的不方便,这时候就需要一个集中式的管理,配置中心
- 统一的配置管理
-
统一的集群管理
如何实时可以了解集群中各服务器的状态变化,可以通过Zookeeper的监控可以获取各个结点的变化信息 -
服务器的上下线
同样的是监控结点的信息,存在该节点说明服务器上线,不存在该节点表示下线 -
软负载均衡
对树节点的一个遍历来完成负载均衡
比如负载均衡中的轮询机制,通过遍历结点的子节点数据获取服务器的地址采用相应的算法,比如轮询或随机等返回一个服务器的地址给请求
Zookeeper最常用的场景
-
服务的注册与发现 Dubbo一般会采用Zookeeper
-
分布式锁 通过结点有序性和监控可以完成分布式锁的效果
准备阶段
需要有Java的安装环境
java -version #查看是否有jdk环境
安装jdk主要有两种方式
一种方法: 下载jdk的rpm安装包,安装后,设置环境变量 /etc/profile ,source /etc/profile 使环境变量生效
这种方式需要配置环境变量,但是第二种方式就不需要配置环境变量
二种方法:yum安装
#查看yum源中是否安装了jdk
yum list java | grep jdk
#在yum源中搜索jdk
yum list java | grep jdk
#从yum源中安装jdk
yum -y install java-1.8.0-openjdk.x86_64
注意:这种安装方式不需要设置环境变量!
安装Zookeeper
1.下载Zookeeper(只需要下载解压即可)
#直接下载到linux服务器上
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.6.2-bin.tar.gz
2.解压
tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz
3.进入apache-zookeeper-3.6.2-bin.tar.gz
4. 进入bin并查看里面的内容
5. 启动zookeeper服务但是出现以下问题
解决方案:
- cp zoo_sample.cfg zoo.cfg
- 创建一个data文件夹
- 进入并复制data的路径
- 修改zoo.cfg里的配置
- 具体的修改为
- 重新启动
配置文件参数详解
Zookeeper中的配置文件zoo.cfg中参数含义解读如下:
1.tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。
它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
2.initLimit =10:LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。
3.syncLimit =5:LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。
4.dataDir:数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。
5.clientPort =2181:客户端连接端口
监听客户端连接的端口。
至此zookeeper启动成功
常用命令
#启动zookeeper服务器
./zkServer.sh start
#查看zookeeper服务器的状态
./zkServer.sh status
#停止zookeeper服务器
./zkServer.sh stop
Zookeeper的客户端
#进入客户端
./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] #代表成功进入客户端
命令基本语法 | 功能描述 |
---|---|
help | 显示所有操作命令 |
ls [-s] [-w] [-R] path | 使用 ls 命令来查看当前znode中所包含的内容 -s: 用于查看节点状态或者属性信息 -w: 设置观察者 -R: 递归显示子节点 |
ls2 path [watch] | 查看当前节点数据并能看到更新次数等数据 |
create [-s] [-e] /path data acl | 普通创建 -s 含有序列 -e 临时(重启或者超时消失) path: 节点的路径 data: 节点的数据 acl: 进行权限控制 |
get [-s] [-w] path | 获得节点的值 -s 用于查看节点状态或者属性信息 -w 设置观察 |
set [-s] [-v version] path data | 设置节点的具体值 |
stat [-w] path | 查看节点状态 |
delete | 删除节点 |
deleteall | 删除特定路径下的所有子节点 |
history | 查看历史命令 |
quit | 退出客户端模式 |
这里就简单举一些例子
- ls /
- create [s]代表永久性,[e]代表暂时性(就是说当客户端与服务端断开连接后,下次再重新连接那么这个节点就不会出现了)
默认是[s]
3. delete
4. stat
Stat结构体
(1)czxid-创建节点的事务zxid
每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。
事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
(2)ctime - znode被创建的毫秒数(从1970年开始)
(3)mzxid - znode最后更新的事务zxid
(4)mtime - znode最后修改的毫秒数(从1970年开始)
(5)pZxid-znode最后更新的子节点zxid
(6)cversion - znode子节点变化号,znode子节点修改次数
(7)dataversion - znode数据变化号
(8)aclVersion - znode访问控制列表的变化号
(9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。
(10)dataLength- znode的数据长度
(11)numChildren - znode子节点数量
以上就是zookeeper的单机版的安装以及使用
补充知识
节点类型
持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除
(1)持久化目录节点 客户端与Z0okeeper断开连接后,该节点依旧存在
(2)持久化顺序编号目录节点
客户端与Zookeeper断开连接后,该节点依旧存在,只是在Zookeeper给该节点名称进行顺序编号 (3)临时目录节点
客户端与Zookeeper断开连接后,该节点被删除 (4)临时顺序编号目录节点
客户端与Zookeeper断开连接后,该节点被删除,只是在Zookeeper给该节点名称进行顺序编号
常见的监听
1)监听节点数据的变化 get -w path
2)监听子节点增减的变化 ls -w path
Zookeeper的选举
前提
基于集群环境(3台或3台以上)
涉及概念
-
服务器 ID(myid):编号越大在选举算法中权重越大
-
事务 ID(zxid):值越大说明数据越新,权重越大,初始的时候0,每次更新后,这个值会加1
-
逻辑时钟(epoch-logicalclock):同一轮投票过程中的逻辑时钟值是相同的,每投完一次值会增加
-
选举状态:
- LOOKING: 竞选状态
- FOLLOWING: 随从状态,同步 leader 状态,参与投票,主要进行读操作
- OBSERVING: 观察状态,同步 leader 状态,不参与投票
- LEADING: 领导者状态,负责读写操作
数据库的读写分离(主从复制):
主机可以直接读写操作,而从机主要只做读操作
选举规则
前提:在同一个epoch纪元的时候
- 优先检查zxid,zxid大的作为leader服务器
- zxid相同就比较myid大小,myid大的作为leader服务器,但是不是代表myid最大的就一定是leader
- 只有获取过半server的支持才能成为leader