zookeeper quota & acl

最新推荐文章于 2024-02-20 23:00:00 发布
最新推荐文章于 2024-02-20 23:00:00 发布
阅读量217 收藏
点赞数
分类专栏： zookeeper 文章标签： zookeepr acl quota
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nilnaijgnid/article/details/90206207
版权

文章目录

quota

节点数限制

  • 创建测试节点
[zk: localhost:2181(CONNECTED) 27] create /test_quota_count a
Created /test_quota_count
  • 设置quota，节点数量设置为5
[zk: localhost:2181(CONNECTED) 28] setquota -n 5 /test_quota_count
Comment: the parts are option -n val 5 path /test_quota_count
  • 查看测试节点quota和当前状态
[zk: localhost:2181(CONNECTED) 29] listquota /test_quota_count
absolute path is /zookeeper/quota/test_quota_count/zookeeper_limits
Output quota for /test_quota_count count=5,bytes=-1
Output stat for /test_quota_count count=1,bytes=1

[zk: localhost:2181(CONNECTED) 31] get /zookeeper/quota/test_quota_count/zookeeper_limits
count=5,bytes=-1 # quota 节点数量限制为5，大小不限制
cZxid = 0x140000296e
ctime = Fri May 10 15:19:11 CST 2019
mZxid = 0x140000296e
mtime = Fri May 10 15:19:11 CST 2019
pZxid = 0x140000296e
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 16
numChildren = 0

[zk: localhost:2181(CONNECTED) 32] get /zookeeper/quota/test_quota_count/zookeeper_stats
count=1,bytes=1 # 测试节点当前子节点数量为1，大小为1个字节
cZxid = 0x140000296f
ctime = Fri May 10 15:19:11 CST 2019
mZxid = 0x140000296f
mtime = Fri May 10 15:19:11 CST 2019
pZxid = 0x140000296f
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 15
numChildren = 0
[zk: localhost:2181(CONNECTED) 33]
  • 在测试节点下尝试创建子节点
[zk: localhost:2181(CONNECTED) 34] create /test_quota_count/a a
Created /test_quota_count/a
[zk: localhost:2181(CONNECTED) 35] create /test_quota_count/b a
Created /test_quota_count/b
[zk: localhost:2181(CONNECTED) 36] create /test_quota_count/c a
Created /test_quota_count/c
[zk: localhost:2181(CONNECTED) 37] create /test_quota_count/d a
Created /test_quota_count/d
[zk: localhost:2181(CONNECTED) 38] create /test_quota_count/e a
Created /test_quota_count/e
[zk: localhost:2181(CONNECTED) 39] create /test_quota_count/f a
Created /test_quota_count/f

  • 看下日志文件zookeeper.out，当节点数量达到上限时，会有告警日志

    需要注意的是，这里只是告警，并不会阻止子节点的创建

2019-05-10 15:22:52,478 [myid:1] - WARN  [CommitProcessor:1:DataTree@302] - Quota exceeded: /        test_quota_count count=6 limit=5
2019-05-10 15:22:54,726 [myid:1] - WARN  [CommitProcessor:1:DataTree@302] - Quota exceeded: /        test_quota_count count=7 limit=5

子节点大小限制

  • 创建测试节点
[zk: localhost:2181(CONNECTED) 43] create /test_quota_byte a
Created /test_quota_byte
  • 设置quota，节点大小限制为10个字节
[zk: localhost:2181(CONNECTED) 44] setquota -b 10 /test_quota_byte
Comment: the parts are option -b val 10 path /test_quota_byte
  • 查看测试节点quota和当前状态
[zk: localhost:2181(CONNECTED) 45] get /zookeeper/quota/test_quota_byte/zookeeper_limits
count=-1,bytes=10 # quota 子节点大小限制为10字节，节点数量不限制
cZxid = 0x1400002978
ctime = Fri May 10 15:28:10 CST 2019
mZxid = 0x1400002978
mtime = Fri May 10 15:28:10 CST 2019
pZxid = 0x1400002978
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 17
numChildren = 0
[zk: localhost:2181(CONNECTED) 46] get /zookeeper/quota/test_quota_byte/zookeeper_stats
count=1,bytes=1 # 测试节点当前子节点数量为1，大小为1个字
cZxid = 0x1400002979
ctime = Fri May 10 15:28:10 CST 2019
mZxid = 0x1400002979
mtime = Fri May 10 15:28:10 CST 2019
pZxid = 0x1400002979
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 15
numChildren = 0
[zk: localhost:2181(CONNECTED) 47]

  • 在测试节点下尝试创建子节点

    每个节点数据设置为aaa（3个字节），创建*/test_quota_byte/d*节点时，子节点大小总共为12字节，超过quota 10字节，所以触发告警

[zk: localhost:2181(CONNECTED) 47] create /test_quota_byte/a aaa
Created /test_quota_byte/a
[zk: localhost:2181(CONNECTED) 48] create /test_quota_byte/b aaa
Created /test_quota_byte/b
[zk: localhost:2181(CONNECTED) 49] create /test_quota_byte/c aaa
Created /test_quota_byte/c
[zk: localhost:2181(CONNECTED) 50] create /test_quota_byte/d aaa
Created /test_quota_byte/d
[zk: localhost:2181(CONNECTED) 51] create /test_quota_byte/e aaa
Created /test_quota_byte/e
[zk: localhost:2181(CONNECTED) 52]

  • 看下日志文件zookeeper.out，当节点数量达到上限时，会有告警日志

    同样需要注意的是，这里只是告警，并不会阻止子节点的创建

2019-05-10 15:30:01,711 [myid:1] - WARN  [CommitProcessor:1:DataTree@348] - Quota exceeded: /test_quota_byte bytes=13 limit=10
2019-05-10 15:30:06,375 [myid:1] - WARN  [CommitProcessor:1:DataTree@348] - Quota exceeded: /test_quota_byte bytes=16 limit=10

ACL

zookeeper ACL策略概述

zookeeper使用ACL控制数据节点的访问权限，ACL的实现与UNIX系统的文件访问权限十分相似：使用权限位允许/禁止针对节点的各种操作。与标准的UNIX权限不同的是，ZooKeeper节点不受用户（文件所有者），组和world（其他）的三个标准范围的限制。zookeeper没有节点属主的概念，相反，ACL指定ID集与这些ID集对应的权限。

另外需要注意，一条ACL策略只属于一个特定的znode，并且不会应用到子节点。例如客户端172.16.16.1没有权限读取 /app 节点，并且*/app/status节点的权限为world，则任何人都可以读取/app/status*，ACLs并不是递归的。

当客户端连接到ZooKeeper并对其自身进行身份验证时，ZooKeeper会将与客户端对应的所有ID与客户端连接相关联。 当客户端尝试访问节点时，将根据znode的ACL检查这些ID。 ACL由*（scheme：expression，perms）对组成。 表达式的格式特定于该方案。 例如，对（ip：19.22.0.0/16，READ）为任何IP地址以19.22开头的客户端提供 READ *权限。

ACL权限

zookeeper支持以下几种权限，简称cdrwa

  • CREATE: 创建子节点
  • READ: 获取节点数据和展示子节点
  • WRITE: 节点写权限
  • DELETE: you can delete a child node 子节点删除权限
  • ADMIN: 管理权限

内置的 ACL 策略

ZooKeeeper 有以下内置策略

  • world 拥有唯一ID，任何人都能访问
  • auth 不使用ID，通过验证的用户可以访问
  • digest 使用用户名:密码 串生成MD5哈希值，该哈希值作为ACL 的ID标识。用户名和密码通过以明文形式发送。在ACL中使用时，表达式将是username:base64
  • ip 使用客户端主机IP作为ACL ID标识。 ACL表达式的形式为addr/bits，其中addr的最高有效位与客户端主机IP的最高有效*位匹配。

world

默认权限，意味着*'world,'anyone*（任何人）都拥有cdrwa权限，也就是所有权限

[zk: localhost:2181(CONNECTED) 57] create /acl_world a
Created /acl_world
[zk: localhost:2181(CONNECTED) 59] getAcl /acl_world
'world,'anyone
: cdrwa

auth

[zk: localhost:2181(CONNECTED) 0] create /acl_auth aaa
Created /acl_auth
[zk: localhost:2181(CONNECTED) 1] setAcl /acl_auth auth:uuu:ppp:cdrwa
# 此处命令执行失败，需要先添加认证账户
Acl is not valid : /acl_auth
[zk: localhost:2181(CONNECTED) 2] addauth digest uuu:ppp
[zk: localhost:2181(CONNECTED) 3] setAcl /acl_auth auth:uuu:ppp:cdrwa
cZxid = 0x170000001b
ctime = Tue May 14 14:30:54 CST 2019
mZxid = 0x170000001b
mtime = Tue May 14 14:30:54 CST 2019
pZxid = 0x170000001b
cversion = 0
dataVersion = 0
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
[zk: localhost:2181(CONNECTED) 4] getAcl /acl_auth
'digest,'uuu:wKhrpTU/8O8cNLmJOA+2fXRriYE=
: cdrwa
[zk: localhost:2181(CONNECTED) 5]

digest

  • 生成密码的hash值

    我的zookeeper安装在/opt/zkCluster/zookeeper01目录下

# java -Djava.ext.dirs=/opt/zkCluster/zookeeper01/lib -cp /opt/zkCluster/zookeeper01/zookeeper-3.4.14.jar org.apache.zookeeper.server.auth.DigestAuthenticationProvider xxx:yyy

xxx:yyy->xxx:yWlnf+Vk2i3i9foVIUCXwC64/Zg=
  • 创建测试节点并设置ACL策略
[zk: localhost:2181(CONNECTED) 15] create /acl_digest1 aaa
Created /acl_digest1
[zk: localhost:2181(CONNECTED) 16] getAcl /acl_digest1
'world,'anyone
: cdrwa
# 设置create, read, delete 权限
[zk: localhost:2181(CONNECTED) 17] setAcl /acl_digest1 digest:xxx:yWlnf+Vk2i3i9foVIUCXwC64/Zg=:crd
cZxid = 0x1700000009
ctime = Tue May 14 13:36:13 CST 2019
mZxid = 0x1700000009
mtime = Tue May 14 13:36:13 CST 2019
pZxid = 0x1700000009
cversion = 0
dataVersion = 0
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

[zk: localhost:2181(CONNECTED) 18] getAcl /acl_digest1
'digest,'xxx:x # 此时acl已设置成功
: cdryWlnf+Vk2i3i9foVIUCXwC64/Zg=:cr
  • 测试acl权限
[zk: localhost:2181(CONNECTED) 0] create /acl_digest1/aaa aaa
# create操作被限制
Authentication is not valid : /acl_digest1/aaa
# 添加认证
[zk: localhost:2181(CONNECTED) 1] addauth digest xxx:yyy
[zk: localhost:2181(CONNECTED) 2] create /acl_digest1/aaa aaa
# 操作成功
Created /acl_digest1/aaa
[zk: localhost:2181(CONNECTED) 3]

ip

基于客户端IP设置ACL

  • 创建测试节点并设置acl
[zk: localhost:2181(CONNECTED) 4] create /acl_ip aaa
Created /acl_ip
# 只允许本地连接的权限
[zk: localhost:2181(CONNECTED) 5] setAcl /acl_ip ip:127.0.0.1:cdrwa
cZxid = 0x170000000f
ctime = Tue May 14 14:11:30 CST 2019
mZxid = 0x170000000f
mtime = Tue May 14 14:11:30 CST 2019
pZxid = 0x170000000f
cversion = 0
dataVersion = 0
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

[zk: localhost:2181(CONNECTED) 0] getAcl /acl_ip
'ip,'127.0.0.1
: cdrwa
nilnaijgnid
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zookeeper quota管理
YF_Li123的博客
10-14 748
Zookeeper的quota机制可以设置节点个数及空间大小 语法 setquota -n|-b val path # 设置节点quota信息 listquota path # 获取节点quota信息 deletequota # 删除节点quota信息 注：-n 表示最大子节点个数(包括节点本身) -b 表示该...
Zookeeper权限管理与Quota管理
pdw2009的专栏
06-27 1742
zk安全
Zookeeper笔记之quota
weixin_30340775的博客
11-16 185
一、节点配额概述 zookeeper中可以往节点存放数据，但是一般来说存放数据总是要有个度量的对吧，不然空间就那么大，如果某个节点将空间全占用了其它节点没得用了，所以zookeeper提供了一个对节点配额功能，不过这个配额功能有点鸡肋，当占用的空间超过了设置的大小时只会打印WARN级别的日志提醒而不是直接让超出配额的操作失败。既然只是在日志中打印一个警告信息，首先就是要找到日志的位置，默...
ZooKeeper Quota's Guide
Mr__XiaoBai的专栏
03-16 904
可通过quota设置某个节点的存储限额，在windows下CD到zookeeper根目录。然后运行        java -cp zookeeper-3.4.6.jar;lib/log4j-1.2.16.jar;lib/slf4j-api-1.6.1.jar;lib/slf4j-log4j12-1.6.1.jar;lib/jline-0.9.94.jar;conf org.apache.zoo
Zookeeper服务端&客户端编译脚本
最新发布
05-12
在IT行业中，Zookeeper是一个广泛使用的分布式协调服务，由Apache Hadoop项目开发并维护。它为分布式应用程序提供了统一的服务发现、配置管理、命名服务、分布式同步等核心功能。本压缩包"Zookeeper服务端&客户端...
为zookeeper配置相应的acl权限
08-29
Zookeeper 权限配置 ACL Zookeeper 是一个高可用的分布式协调服务，可以为分布式应用程序提供配置维护、命名、提供分布式同步和GROUP服务。为了确保 Zookeeper 的安全性和可靠性，需要配置相应的 ACL 权限。本文将...
Zookeeper-ACL权限控制
08-09
Zookeeper-ACL权限控制
zookeeper&zooInspctor;
12-05
说明：里面有俩个压缩包 1.ZooInspector.zip zookeeper的可视化工具 2.zookeeper-3.4.12.tar.gz zookeeper的安装包，可以在windows和linux中使用，window中直接解压就行。
zookeeper基础进阶&分布式集群部署
07-31
zookeeper基础进阶&分布式集群部署，xmind文件，包含zk基础知识，linux环境下分布式集群安装部署，以及进阶内容
【Flink】NumberQuotaExceedException: KeeperErrorCode = Nodes number exceed quota limit
九师兄
02-20 483
本次flink报错如下问题：zk quota超限制数，导致高可用时zk的相应路径下不可再生成节点维护信息，使保存任务失败。关键是我的任务在/flink2/下有正常的，也有不正常的，怎么删除呢？没有发现有模糊删除。现在解决是写个客户端循环遍历删除。
Zookeeper 概述与安装、配置参数、数据结构、选举机制、客户端命令
蚩尤后裔-汪茂雄
10-11 2200
Zookeeper 概述 1、Zookeeper 是 Apache 一个为分布式应用提供协调服务的开源的分布式项目。 2、Zookeeper 从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave（主/从） 管理模式 3、Zookeeper = 文件系统 + 通知机制
Zookeeper_zkCli 的使用 : 增删查改 与 配额quota
迎难而上
11-05 3531
基于版本 zookeeper 3.4.5 版本比较老 zkCli 是 zookeeper 原生的与 zk服务群连接的客户端的程序。 1.如何使用zkCli,sh 连接server 与参数 2.zkCli 下的增删查改指令 与 配额 quota 1.如何使用zkCli,sh 连接server 与参数 可选的参数： ./zkCli.sh -timeou
Zookeeper之客户端命令操作
qq_32640013的博客
08-09 315
文章目录Zookeeper之客户端命令操作1.配置zookeeper的环境变量2.连接zookeeper3.数据操作3.1 zookeeper的数据存储结构3.2节点的类型1).znode有两种类型：2).znode有四种形式的目录节点（默认是persistent）如下3.3命令说明3.4常用操作ls命令ls2get命令create命令创建永久节点创建短暂节点创建短暂有序节点set命令delete...
ZooKeeper 常用命令
Erik_ly的博客
04-23 1344
本文主要介绍 ZooKeeper 的常用命令，包括常用命令行命令、ACL 访问控制、四字命令、解析日志和快照等命令。
zookeeper的2PC事务提交
长风破浪会有33的博客
07-24 3966
大致过程 在 zookeeper 中，客户端会随机连接到 zookeeper 集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给 leader 提交事务，然后 leader 会广播事务，只要有超过半数节点写入成功，那么写请求就会被提交（类似 2PC 事务）。 所有事务请求必须由一个全局唯一的服务器来协调处理，这个服务器就是 Leader 服务器，其他的...
zookeeper客户端命令详解
热门推荐
heihei36的专栏
04-27 2万+
zookeeper客户端命令详解 简介 查阅了网上相关资料，介绍zookeeper客户端命令并不是非常全面，大多数都是简单介绍ls、get、set、delete、stat这几个简单命令的，下面我把help中的所有命令简单介绍一下以供参考。 首先说明一下如何打开zk服务端和客户端，cd到zk安装目录下，运行bin/zkServer.shstart即可启动服务端，运行bin/zkCli.sh –
zookeeper zkCli.sh的基本使用方法
勿忘初心
03-25 1万+
zkCli.sh文件所在位置： 1、启动// -r 表示 在zk集群过半机器无法提供服务的时候，其它机器是否提供只读服务，如果提供，则添加参数-r //192.168.179.128 服务器地址 // 5000 单位：毫秒 ./zkCli.sh -timeout 5000 -r -server 192.168.179.128:2181 执行效果如下： 2、常用命令1、查看当前节点列表[zk:
zookeeper Authentication is not valid
Through Da Storm
08-31 5093
Error: [zk: localhost:2181(CONNECTED) 0] ls /xx Authentication is not valid : /xx Solution: addauth digest user:password
zookeeper如何实现ACL
05-30
在Zookeeper中，可以通过ACL（Access Control List）来实现节点的访问控制。ACL是一种访问控制列表，用于控制节点的访问权限。每个节点可以设置一个ACL，ACL由权限、方案和标识符三个部分组成。 具体来说，可以通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值