Zookeeper之功能篇章

最新推荐文章于 2024-04-26 23:26:57 发布
最新推荐文章于 2024-04-26 23:26:57 发布
阅读量646 收藏
点赞数
分类专栏： • Java架构 ——【分布式协调服务】 文章标签： zookeeper 分布式 分布式协调服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39938758/article/details/105753990
版权

文章目录

一、集群角色

Leader：

  • 事物请求的唯一调度和处理者，保证集群事物处理的顺序性
  • 集群内部各服务器的调度者

Follower：

  • 处理客户端非事物请求、转发事物请求给leader服务器
  • 参与事物请求 Proposal 的投票（需要半数以上服务器 通过才能通知leader commit数据; Leader发起的提案， 要求Follower投票）
  • 参与Leader选举的投票

Observer：是 zookeeper3.3 开始引入的一个全新的服务器角色。

  • 观察zookeeper集群中的最新状态变化并将这些状态变化 同步到 observer 服务器上。Observer 的工作原理与 follower 角色基本一致，
  • 只提供非事物请求服务，没有选举和投票的资格，通常在于不影响集群事物 处理能力的前提下提升集群非事物处理的能力 (例：选举时)

二、数据模型

Zookeeper 的视图结构和标准的文件系统非常类似，每一个节点称之为ZNode，是Zookeeper的最小单元。每个Znode 上都可以保存数据以及挂载子节点。构成一个层次化的树形结构。

1、持久节点（PERSISTENT）

创建后会一直存在 zookeeper 服务器上，直到主动删除

2、持久有序节点（PERSISTENT_SEQUENTIAL）

每个节点都会为它的一级子节点维护一个顺序

3、临时节点（EPHEMERAL）

临时的生命周期和客户端的回话绑定在一起，当客户端回话失效该节点自动清理

4、临时有序节点（EPHEMERAL）

在临时节点的基础上多了一个顺序性

三、会话

在这里插入图123片描述

  • Client 初始化连接，状态转化为 CONNECTING ①
  • Client 与 Server 成功建立连接，状态转为 CONNECTED ②
  • Client 丢失了与 Server 的连接或者没有接受到 Server 的响应， 状态转为 CONNECTING ③
  • Client 连上另外的 Server 或连接上了之前的 Server ， 状态转为 CONNECTED ②
  • 若会话过期（是Server 负责生命会话过期，而不是Client），状态转化为CLOSED ⑤
  • Client 也可以主动关闭回话 ④ ，状态转化为 CLOSED

四、Stat状态信息

每个节点除了存储数据内容以外，还存储了数据节点本身的一些状态信息，通过 get 命令可以获得状态信息的详细内容

状态属性说明
cZxid0x0即Created ZXID，表示该数据节点被创建时的事务ID
ctimeWed Dec 31 19:00:00 EST 1969即Created Time，表示节点被创建的时间
mZxid0x0即Modified ZXID，表示该数据节点被更新时的事务ID
mtimeWed Dec 31 19:00:00 EST 1969即Modified Time，表示该节点最后一次被更新的时间
pZxid0x0表示该节点的子节点列表最后一次被修改时的事务ID。注意。只有子节点列表变更了才会更新这个事务ID，子节点的内容变更不会影响pZxid
cversion1当前数据节点子节点的版本号，规则同上
dateVersion0当前数据节点数据内容的版本号
aclVersion0当前数据节点 ACL 变更版本号
ephemeralOwner0x0创建该临时节点的会话的SessionID，如果该节点是持久节点，那么这个属性值为0 (0x0)
dateLength0数据value的长度
numChildren1当前节点的子节点个数

五、版本

保证分布式数据原子性，Zookeeper 为数据节点引入了版本的概念，每个数据节点都有三类版本信息，对数据节点任何更新操作都会引起版本号的变化；cversion、dateVersion、aclVersion

版本的概念，和我们经常使用的乐观锁类似， version水泥杆就是用来实现乐观锁机制的“写入效验” 。

六、Watcher

Zookeeper 提供了分布式数据的发布 / 订阅功能，Zookeeper 允许客户端向服务端注册一个 watcher 监听， 当服务端的一些指定事件触发了 watcher ，那么服务端就会想客户端发送一个事件通知。

值得注意的是，Watcher 通知是一次性的，即一旦触发一次通知后，该Watcher 就失效了，因此客户端需要反复注册 Watcher ，即程序中在 process 里面又注册了Watcher ，否则，将无法获取xx节点的创建而导致子节点变化的事件。

七、ACL

znode 不仅包含了存储的数据，还有ACL（Access Control List）。znode 的创建时，可以给它设置一个ACL，来决定谁可以对znode 做哪些操作。

使用率较少，因为zookeeper一般都部署在内网。

ACL 是由鉴权方式(Schemes)、鉴权方式的ID(ID也是值) 和一个许可（permissions）的集合组成。

例如：我们想通过一个ip地址为10.0.0.1的客户端访问一个znode。那么我们需要为znode 设置一个ACL，鉴权方式使用IP鉴权方式，鉴权方式的ID为10.0.0.1，只允许读权限，那么ACL的格式就是：

ip:10.0.0.1:w

1、特点
  • Zookeeper 的权限控制是基于每个znode节点的，需要对每个节点设置权限；
  • 每个 znode 支持设置多种权限控制方案和多个权限；
  • 子节点不会继承父节点的权限，客户端无权访问某节点，但可能可以访问它的子节点；
  • 所以任何一个客户端都可以通过exists 操作来获得任何znode 的状态，从而得知znode 是否真的存在。
2、ACL Permissions
ACL权限ACL简写允许的操作
CREATEc创建子节点
READr获取节点的数据和他的子节点
WRITEw设置节点的数据
DELETEd删除子节点（仅下一级节点）
ADMINa设置ACL权限
3、ACL Schemes 、ID

Zookeeper 内置了一些权限控制方案，可以用以下方案为每个节点设置权限

方案(schema)id描述
worldanyone只有一个用户：anyone，代表所有人，默认
ip10.0.0.1使用ip地址认证
authadmin使用已添加认证的用户认证
digestadmin:admin使用 “用户:密码” 方式认证
4、权限相关命令
命令语法描述
getAclget Acl path读取ACL权限
setAclsetAcl path acl设置ACL权限
addauthaddauth scheme auth添加认证用户
createcreate [-s][-e] path data acl创建节点时指明ACL权限
5、zkCli操作示例

权限变动stat的aclVersion也会跟着递增

a、word
# 语法：
setAcl <path> world:anyone:<acl> # 默认情况下时 world 方法，任何人有所有权限：
# 示例：
getAcl /cndba
setAcl /cndba world:anyone:cdr
b、ip
# 语法：
setAcl <path> ip:<ip>:<acl>
# <ip>：可以是具体IP或者IP/bit格式，即IP转换为二进制，匹配前bit位，
# 如192.168.0.0/16匹配192.168.*.*
# 示例：
create /acl test
setAcl /acl ip:192.168.56.102:cdrwa
getAcl /acl
# 结果：
其他ip电脑访问该节点就：Authentication is not valid : /acl
c、auth

如果测试断开的话，就不能访问，必须重新addauth 添加认证用户才可以

当然在创建znode时也可以直接指定ACL，但断开之后同样需要添加认证用户才可以获取数据

# 语法：
addauth digest <user>:<password> #添加认证用户
setAcl <path> auth:<user>:<acl>
# 示例：
addauth digest dave:dave
setAcl /acl auth:dave:cdrwa
getAcl /acl
get /acl
# 断开访问示例：
get /acl  # Authentication is not valid : /acl
addauth digest dave:dave
get /acl
d、digest

同auth一样，如果断开了，可以通过addauth 重新获得权限

下面的密码是经过SHA1及BASE64处理后的密文，在Shell中可以用一下命令计算：

格式：echo -n <user>:<password> | openssl dgst -binary -sha1 | openssl base64
自己加密
[root@Master ~]# echo -n admin:admin | openssl dgst -binary -sha1 | openssl base64
x1nq8J5GOJVPY6zgzhtTtA9izLc=

# 语法：
setAcl <path> digest:<user>:<password>:<acl>
# 示例:
create /ustc ustc
setAcl /ustc digest:admin:x1nq8J5GOJVPY6zgzhtTtA9izLc=:cdrwa
getAcl /ustc
get /ustc # Authentication is not valid : /ustc
addauth digest admin:admin
get /ustc

八、quota

Zookeeper quota 机制支持节点个数（namespace）和空间大小（bytes）的设置。Zookeeper quota 保存在/zookeeper/quota 节点下，可以设置该节点的全年，以防其他人修改

菜鸟编程98K
关注
专栏目录
Apache ActiveMQ实战(2)-集群
lifetragedy的专栏
07-09 1万+
本人把平时在项目中通过对ActiveMQ的各种集群搭建研究经验，总结出了基于ActiveMQ的各种集群间的比较、搭建步骤和各种坑。 在文中还给出了一个基于zookeeper+broker cluster组合而成的完美解决方案，篇幅较长需要读者耐心看完和动手去消化。 该套教程联合之前的实战教程（1）构成一套完整的企业级ActiveMQ的解决方案，希望对读者有帮助。
2024年05月数据月报
最新发布
SmartSi
06-02 1911
2024年05月数据月报，为您准备了阿里、字节、百度等大厂150+篇实践案例
zookeeper学习总结第一篇：zookeeper功能简要
mifan5658的博客
02-24 250
一、zookeeper功能描述               zookeeper是一个开源的、分布式的服务框架，是Hadoop的一个子项目。zookeeper被应用到很多分布式应用场景，如被广泛应用到Hadoop生态体系中为各种框架提供分布式协调服务。 但其实zookeeper的功能非常简单，主要包含以下两个功能： 1、替客户端保存数据； 2、为客户端提供数据的监听服务（如数据发生变化则通知客户...
zookeeper功能和应用
popping_kai的博客
04-01 219
1、解压zookeeper.tar压缩包 2、删除*.xml *.txt(这些都是源码里面的东西)     rm -rf *.xml *.txt 3、删除源码信息     rm -rf contrib dist-maven docs recipes src zookeeper-3.4.5.jar.asc zookeeper-3.4.5.jar.md5 zookeeper-3.4.5.jar
zookeeper中四种节点类型，持久节点，有序节点
LeoHan
03-14 1806
在zookeeper中，节点类型按照持久分为两类： 持久节点，创建完之后一直存在，必须调用delete方法才可以删除 非持久节点，创建完之后，当创建该节点的客户端关闭或者断开了连接，节点自动被删除 节点按照有序可以分为两类： 3. 有序节点，有序节点创建的时候会被分配一个唯一的单调递增的整数，会有一个序号追加在节点的路径之后 4. 无序节点 上述进行组合之后，zk共有四种类型节点： PERSISTENT，永久节点 PERSISTENT_SEQUENTIAL，永久有序节点 EPHEMERAL，临时节点
zookeeper的四种节点：临时、临时顺序、持久、持久顺序特点详解
一点光辉的博客
04-02 1万+
zk四种节点的区别
ZooKeeper 节点类型
热门推荐
和大黄的博客
08-21 4万+
ZooKeeper 节点是有生命周期的，这取决于节点的类型。在 ZooKeeper 中，节点类型可以分为持久节点（PERSISTENT ）、临时节点（EPHEMERAL），以及时序节点（SEQUENTIAL ），具体在节点创建过程中，一般是组合使用，可以生成以下 4 种节点类型。 持久节点（PERSISTENT） 所谓持久节点，是指在节点创建后，就一直存在，直到有删除操作来主动
【ZooKeeper系列】3.ZooKeeper源码环境搭建
HuaZi_Myth的博客
12-31 2249
前文阅读：【ZooKeeper系列】1.ZooKeeper单机版、伪集群和集群环境搭建【ZooKeeper系列】2.用Java实现ZooKeeper API的调用 在系列的前两篇文章中，介绍了ZooKeeper环境的搭建（包括单机版、伪集群和集群），对创建、删除、修改节点等场景用命令行的方式进行了测试，让大家对ZooKeeper环境搭建及常用命令行有初步的认识，也为搭建ZooKeeper的开发环...
ZooKeeper【基础 01】简介+设计目标+核心概念+ZAB协议(1)
2401_84300239的博客
04-26 639
在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。
PyPI 官网下载 | dagster_spark-0.5.5rc0.tar.gz
02-10
《PyPI上的dagster_spark-0.5.5rc0.tar.gz：探索分布式大数据处理的新篇章》 PyPI（Python Package Index）是Python开发者的重要资源库，它提供了丰富的Python软件包供全球开发者下载和使用。在PyPI上，我们可以...
Zookeeper Java API (一) 创建Zookeeper连接和节点创建
小鱼儿的专栏
04-05 4564
添加Maven依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.zookeeper&lt;/groupId&gt; &lt;artifactId&gt;zookeeper&lt;/artifactId&gt; &lt;version&gt;3.4.11&lt;/version&gt; &lt;/dependency&g
ZooKeeper的四种节点类型
情怀中的释然~
02-23 2016
ZooKeeper的四种节点类型 PERSISTENT：持久化节点 PERSISTENT_SEQUENTIAL：持久化有序节点 PHEMERAL：临时节点 EPHEMERAL_SEQUENTIAL：临时有序节点 注：临时节点下不能创建子节点，临时节点的声明周期不是永久，跟随客户端连接，客户端会话失效后，临时节点会自动删除 ...
八十三、尚硅谷kylin单机版环境——安装ZooKeeper3.5.7
tiantang2renjian的博客
05-11 445
尚硅谷kylin单机版环境——安装ZooKeeper3.5.7
Kylin大数据实战学习教程
11-26
本课程为专题课，通过全面讲解Kylin架构原理、分布式集群搭建以及项目案例，让你快速掌握Kylin实时大数据BI技术，从而解决海量数据多维指标动态计算耗时问题、复杂条件筛选问题以及跨月、季度、年等大时间区间查询问题。
大数据之kylin——与zookeeper通信问题
luo981695830的博客
03-03 807
解决办法： #配置zookeeper kylin.env.zookeeper-connect-string=master:2181 错误日志 2021-03-03 00:12:03,724 INFO [main] zookeeper.ZooKeeper:438 : Initiating client connection, connectString=master:2181 sessionTimeout=90000 watcher=org.apache.hadoop.hbase.zookeep
【Kylin】Kylin入门解析（一）
Together
05-14 2879
（图片来源于网络，侵删） 一、Kylin 概述 1.Kylin 简介 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc 开发并贡献至开源社区。它能在亚秒内查询巨大的 Hive 表 2.Kylin 架构 1）REST Server REST Server 是一套面向应用程序开发的入口点，旨在实现针对 Kylin 平台的应用开发 工作。 此类应用程序可以提供查询、获取结果、触发
Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明
06-02 456
本文介绍基于CentOS7的Hadoop2.7.7集群+hive1.2.2+Tkylin2.5.0+hbase1.5.0+zookeeper3.4.14部署方法和注意事项，整体服务部署架构如下表所示： 总体环境规划 1 个 master主机，2 个 slave 主机，3台服务器部署结构 hostname master232 slave233 slave229 IP 102.1...
kylin 安装配置实验
wzy0623的专栏
04-29 2万+
一、实验环境 3台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 hadoop 2.7.2 hbase 1.1.4 hive 2.0.0 zookeeper 3.4.8 kylin 1.5.1（一定要apache-kylin-1.5.1-
[kylin] 部署kylin服务
weixin_33788244的博客
04-14 564
  官网： http://kylin.apache.org/ 社区： https://github.com/KylinOLAP/Kylin/issues http://apache-kylin.74782.x6.nabble.com/  源码： https://github.com/apache/kylin 博客：  Apache Kylin的快速数据立方体算法 Apache ...
zookeeper重要功能
04-07
1. 管理和协调分布式应用程序 Zookeeper可以存储和管理分布式应用程序中的配置信息、元...Zookeeper可以提供监控和诊断功能，例如节点状态监测、性能指标收集和故障诊断等，以帮助管理员更好地管理和维护分布式系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值