之前公司中因为采用了分布式集群部署,但是没有采用注册中心进行服务监控管理,造成服务宕机时才能发现,不能巡检时第一时间检出,所以对于各个服务进行monitor,之前结合dubbo使用过zookeeper,关于double的使用及相关内容,后面会和大家再次分享一下滴,先说zk,后就针对于该需求,引入zk,结合zk的节点特性,实施了服务实施监测。后面细节整理了一下相关知识点,和大家分享一下哈~
zookeeper产生背景:
项目从单体到分布式转变之后,将会产生多个节点之间协同的问题。如:
- 分布式项目的一致性问题?
- RPC调用时的服务发现?
- 如何保证并发请求的幂等?
- 如何对于服务的监控?
- 修改配置文件属性,每个服务都需要重启一遍?
- 。。。等等
zk概要:
ZooKeeper是用于分布式应用程序的协调服务。它公开了一组简单的API,分布式应用程序可以基于这些API用于同步,节点状态、配置等信息、服务注册等信息。其由JAVA编写,支持JAVA 和C两种语言的客户端。
znode节点:
zookeeper 中数据基本单元叫节点,节点之下可包含子节点,最后以树级方式程现。每个节点拥有唯一的路径path。客户端基于PATH上传节点数据,zookeeper 收到后会实时通知对该路径进行监听的客户端。
zk的安装与启动:
下载 zookeeper-3.5.5-bin.tar.gz;建议可以直接去官网下载,不会下载的自行百度哈
(1)#解压
tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
(2)#拷贝默认配置
cd {zookeeper_home}/conf
cp zoo_sample.cfg zoo.cfg
(3)#启动与关闭
./zkServer.sh start 及 . /zkServer.sh stop
(4)#连接客户端
./bin/zkCli.sh -server 127.0.0.1:2181
常规配置文件说明:
说明:
# zookeeper时间配置中的基本单位 (毫秒)
tickTime=2000
# 允许follower初始化连接到leader最大时长,它表示tickTime时间倍数 即:initLimit*tickTime
initLimit=10
# 允许follower与leader数据同步最大时长,它表示tickTime时间倍数
syncLimit=5
#zookeper 数据存储目录
dataDir=/tmp/zookeeper
#对客户端提供的端口号
clientPort=2181
#单个客户端与zookeeper最大并发连接数
maxClientCnxns=60
# 保存的数据快照数量,之外的将会被清除 zookeeper/
autopurge.snapRetainCount=3
#自动触发清除任务时间间隔,小时为单位。默认为0,表示不自动清除。
autopurge.purgeInterval=1
客户端命令详解:
close 关闭当前会话
connect host:port 重新连接指定Zookeeper服务
create [-s] [-e] [-c] [-t ttl] path [data] [acl] 创建节点
delete [-v version] path 删除节点,(不能存在子节点)
deleteall path 删除路径及所有子节点
setquota -n|-b val path设置节点限额 -n 子节点数 -b 字节数
listquota path 查看节点限额
delquota [-n|-b] path 删除节点限额
get [-s] [-w] path查看节点数据 -s 包含节点状态 -w 添加监听
ls [-s] [-w] [-R] path 列出子节点 -s状态 -R 递归查看所有子节点 -w 添加监听
printwatches on|off 是否打印监听事件
quit 退出客户端
history 查看执行的历史记录
redo cmdno 重复 执行命令,history 中命令编号确定
removewatches path [-c|-d|-a] [-l] 删除指定监听
set [-s] [-v version] path data 设置值
setAcl [-s] [-v version] [-R] path acl 为节点设置ACL权限
stat [-w] path 查看节点状态 -w 添加监听
sync path强制同步节点
Zookeeper节点介绍:
- 节点类型
- 节点的监听(watch)
- 节点属性说明(stat)
- 权限设置(acl)
zookeeper 中节点叫znode存储结构上跟文件系统类似,以树级结构进行存储。不同之外在于znode没有目录的概念,不能执行类似cd之类的命令。znode结构包含如下:
- path:唯一路径
- childNode:子节点
- stat:状态属性
- type:节点类型
节点类型:
类型 | 描述 |
PERSISTENT | 持久节点 |
PERSISTENT_SEQUENTIAL | 持久序号节点 |
EPHEMERAL | 临时节点(不可在拥有子节点) |
EPHEMERAL_SEQUENTIAL | 临时序号节点(不可在拥有子节点) |
- PERSISTENT(持久节点)
持久化保存的节点,也是默认创建的
#默认创建的就是持久节点
- PERSISTENT_SEQUENTIAL(持久序号节点)
创建时zookeeper 会在路径上加上序号作为后缀,非常适合用于分布式锁、分布式选举等场景。创建时添加 -s 参数即可。
#创建序号节点
可以重复执行。会出现顺序节点名称
- EPHEMERAL(临时节点)
临时节点会在客户端会话断开后自动删除。适用于心跳,服务发现等场景。创建时添加参数-e 即可。
#创建临时节点, 断开会话 在连接将会自动删除
- EPHEMERAL_SEQUENTIAL(临时序号节点)
与持久序号节点类似,不同之处在于EPHEMERAL_SEQUENTIAL是临时的会在会话断开后删除。创建时添加 -e –s
节点属性:
# 查看节点属性
stat /demo
cZxid = 0x3 #创建节点的事物ID
ctime = Tue Jan 26 13:19:38 CST 2021 #创建时间
mZxid = 0x3 #修改节点的事物ID
mtime = Tue Jan 26 13:19:38 CST 2021 #最后修改时间
pZxid = 0x3 # 子节点变更的事物ID
cversion = 17 #这表示对此znode的子节点进行的更改次数(不包括子节点)
dataVersion = 0 # 数据版本,变更次数
aclVersion = 0 #权限版本,变更次数
ephemeralOwner = 0x0 #临时节点所属会话ID
dataLength = 0 #数据长度
numChildren = 0 #子节点数(不包括子子节点)
节点的监听:
添加 -w 参数可实时监听节点与子节点的变化,并且实时收到通知。非常适用保障分布式情况下的数据一至性。其使用方式如下:
命令 | 描述 |
ls -w path | 监听子节点的变化(增,删) |
get -w path | 监听节点数据的变化 |
stat -w path | 监听节点属性的变化 |
printwatches on|off | 触发监听后,是否打印监听事件(默认on) |
acl权限设置:
ACL全称为Access Control List(访问控制列表),用于控制资源的访问权限。ZooKeeper使用ACL来控制对其znode的防问。基于scheme:id:permission的方式进行权限控制。scheme表示授权模式、id模式对应值、permission即具体的增删改权限位。
scheme:认证模型
方案 | 描述 |
world | 开放模式,world表示全世界都可以访问(这是默认设置) |
ip | ip模式,限定客户端IP防问 |
auth | 用户密码认证模式,只有在会话中添加了认证才可以防问 |
digest | 与auth类似,区别在于auth用明文密码,而digest 用sha-1+base64加密后的密码。在实际使用中digest 更常见。 |
permission权限位
权限位 | 权限 | 描述 |
c | CREATE | 可以创建子节点 |
d | DELETE | 可以删除子节点(仅下一级节点) |
r | READ | 可以读取节点数据及显示子节点列表 |
w | WRITE | 可以设置节点数据 |
a | ADMIN | 可以设置节点访问控制列表权限 |
acl 相关命令:
命令 | 使用方式 | 描述 |
getAcl | getAcl <path> | 读取ACL权限 |
setAcl | setAcl <path> <acl> | 设置ACL权限 |
addauth | addauth <scheme> <auth> | 添加认证用户 |
world权限示例
语法: setAcl <path> world:anyone:<权限位>
注:world模式中anyone是唯一的值,表示所有人
- 查看默认节点权限:
#创建一个节点
#返回的默认权限表示 ,所有人拥有所有权限。
'world,'anyone: cdrwa
2.修改默认权限为 读写
#设置为rw权限
# 可以正常读,写
# 无法正常创建子节点, # 返回没有权限的异常