常规操作之zookeeper

最新推荐文章于 2024-09-20 17:59:07 发布
最新推荐文章于 2024-09-20 17:59:07 发布
阅读量194 收藏
点赞数
分类专栏： 技术 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GKTDSR/article/details/104546138
版权

Zookeeper 简介

分布式协调框架，维护一个类似于文件管理系统的数据结构在根节点以下创建应用或服务所需节点（ZNode），节点分为四种：persisent(持久化节点，客户端断开连接后不会自动删除)、persisent-sequential(持久化顺序编号节点，断开连接后zookeeper会给该节点名称进行顺序编号)、ephemral(临时节点，客户端断连后就会自动删除)、ephemeral-sequential(临时有序节点，)。
另外Zookeeper也支持监听通知机制，当节点发生变化后会通知客户端。

Zookeeper 数据结构

ZooKeeper拥有一个层次的命名空间，这个和标准的文件系统非常相似，如下图所示。

在这里插入图片描述在这里插入图片描述

从图中我们可以看出ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，都是采用这种树形层次结构，ZooKeeper树中的每个节点被称为—Znode。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处：

引用方式

Zonde通过路径引用，如同Unix中的文件路径。路径必须是绝对的，因此他们必须由斜杠字符来开头。除此以外，他们必须是唯一的，也就是说每一个路径只有一个表示，因此这些路径不能改变。在ZooKeeper中，路径由Unicode字符串组成，并且有一些限制。字符串"/zookeeper"用以保存管理信息，比如关键配额信息。

Znode结构

ZooKeeper命名空间中的Znode，兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构，又像目录一样可以作为路径标识的一部分。图中的每个节点称为一个Znode。 每个Znode由3部分组成:
　　① stat：此为状态信息, 描述该Znode的版本, 权限等信息
　　② data：与该Znode关联的数据
　　③ children：该Znode下的子节点
　　ZooKeeper虽然可以关联一些数据，但并没有被设计为常规的数据库或者大数据存储，相反的是，它用来管理调度数据，比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的共同特性就是它们都是很小的数据，通常以KB为大小单位。ZooKeeper的服务器和客户端都被设计为严格检查并限制每个Znode的数据大小至多1M，但常规使用中应该远小于此值。

Znode元数据信息

（实现中Zxid是一个64为的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个 新的epoch。低32位是个递增计数。 (2) 版本号）
（1）czxid：create ZXID，数据节点被创建时的事务Id
（2）mzxid：modified ZXID，该节点最终一次更新的事务ID
（3）ctime：create time，该节点的创建时间
（4）mtime：modified time，该节点最后一次更新时间
（5）pzxid：该节点的子节点列表最后一次修改时的事务Id，只有子节点列表修改的时候才会更新，子节点内容被修改的时候不会被更新
（6）cversion：子节点版本号，当前节点的子节点每次变化增加1
（7）dataVersion：节点内的数据被修改的时候版本号自动会自动加一，初始化为0
（8）ephemeral：创建临时节点会话的sessionId,如果当前节点为持久节点则为0
（9）dataLength：数据节点内容长度
（10）numChildren：当前节点的子节点个数

数据访问

ZooKeeper中的每个节点存储的数据要被原子性的操作。也就是说读操作将获取与节点相关的所有数据，写操作也将替换掉节点的所有数据。另外，每一个节点都拥有自己的ACL(访问控制列表)，这个列表规定了用户的权限，即限定了特定用户对目标节点可以执行的操作。
　　ACL操作列表

权限简写解释
CREATEC创建子节点
DELETED删除子节点
WRITEW更新当前节点信息
READR读当前节点和子节点信息
ADMINA允许授权对象对当前节点进行ACL相关设置操作

节点类型

ZooKeeper中的节点有两种，分别为临时节点和永久节点。节点的类型在创建时即被确定，并且不能改变。
　　① 临时节点：该节点的生命周期依赖于创建它们的会话。一旦会话(Session)结束，临时节点将被自动删除，当然可以也可以手动删除。虽然每个临时的Znode都会绑定到一个客户端会话，但他们对所有的客户端还是可见的。另外，ZooKeeper的临时节点不允许拥有子节点。
　　② 永久节点：该节点的生命周期不依赖于会话，并且只有在客户端显示执行删除操作的时候，他们才能被删除。

顺序节点

当创建Znode的时候，用户可以请求在ZooKeeper的路径结尾添加一个递增的计数。这个计数对于此节点的父节点来说是唯一的，它的格式为"%10d"(10位数字，没有数值的数位用0补充，例如"0000000001")。当计数值大于232-1时，计数器将溢出。

监控机制

触发器

客户端可以在节点上设置watch，我们称之为监视器。当节点状态发生改变时(Znode的增、删、改)将会触发watch所对应的操作。当watch被触发时，ZooKeeper将会向客户端发送且仅发送一条通知，因为watch只能被触发一次，这样可以减少网络流量。
　　
ZooKeeper所管理的watch可以分为两类：
① 数据watch(data watches)：getData和exists负责设置数据watch
② 孩子watch(child watches)：getChildren负责设置孩子watch

我们可以通过操作返回的数据来设置不同的watch：
① getData和exists：返回关于节点的数据信息
② getChildren：返回孩子列表
因此
① 一个成功的setData操作将触发Znode的数据watch
② 一个成功的create操作将触发Znode的数据watch以及孩子watch
③ 一个成功的delete操作将触发Znode的数据watch以及孩子watch

针对创建watch的三种操作触发的操作范围也不同：
① exists操作上的watch，在被监视的Znode创建、删除或数据更新时被触发。
② getData操作上的watch，在被监视的Znode删除或数据更新时被触发。在被创建时不能被触发，因为只有Znode一定存在，getData操作才会成功。
③ getChildren操作上的watch，在被监视的Znode的子节点创建或删除，或是这个Znode自身被删除时被触发。可以通过查看watch事件类型来区分是Znode，还是他的子节点被删除：NodeDelete表示Znode被删除，NodeDeletedChanged表示子节点被删除。

Watch由客户端所连接的ZooKeeper服务器在本地维护，因此watch可以非常容易地设置、管理和分派。当客户端连接到一个新的服务器时，任何的会话事件都将可能触发watch。另外，当从服务器断开连接的时候，watch将不会被接收。但是，当一个客户端重新建立连接的时候，任何先前注册过的watch都会被重新注册。

可视图化工具

1.IDEA zookeeper插件
2.ZooInspector
3.zookeeper内置zk客户端（/apache-zookeeper-3.5.6-bin/bin/zkCli.sh）

zk命令

  • get path 获取数据

  • stat path 获取该节点信息：

    • (1)czxid. 节点创建时的zxid.
    • (2)mzxid. 节点最新一次更新发生时的zxid.
    • (3)ctime. 节点创建时的时间戳.
    • (4)mtime. 节点最新一次更新发生时的时间戳.
    • (5)dataVersion. 节点数据的更新次数.
    • (6)cversion. 其子节点的更新次数.
    • (7)aclVersion. 节点ACL(授权信息)的更新次数.
    • (8)ephemeralOwner. 如果该节点为ephemeral节点, ephemeralOwner值表示与该节点绑定的session id. 如果该节点不是ephemeral节点, ephemeralOwner值为0. 至于什么是ephemeral节点, 请看后面的讲述.
    • (9)dataLength. 节点数据的字节数.
    • (10)numChildren. 子节点个数.

  • ls2 path get和stat结合

  • create [-s -e] path data

    • -e临时节点
    • -s持久化节点，同时对一个节点增加数据会自动按顺序增加节点目录
    • data数据

  • set path data [version] 修改节点数据信息，但是每次更新会给增加该节点元数据中版本号和最近更新时间，如果version对不上当前版本号那修改就会报错，version=-1表示更新忽略版本号

  • delete path [version] 删除数据，version效果同上

  • stat path [watch] 对目标节点设置触发器

GKTDSR
关注
专栏目录
大数据之Zookeeper
二锅头的博客
09-12 532
大数据之Zookeeper1. Zookeeper入门1.1 概述1.2特点1.3 数据结构1.4 应用场景2. Zookeeper的安装本地安装部署3.Zookeeper操作3.1 分布式安装部署3.2 客户端命令行操作3.3 API 操作3.3.1 idea中maven环境搭建3.3.2 创建Zookeeper客户端4. Zookeeper 原理4.1 节点类型4.2 Stat结构体4.3 监听器原理（ZAP）4.4 选举机制4.5 写数据流程5.总结 1. Zookeeper入门 1.1 概述 Zo
zookeeper常用命令行操作
踏歌行的专栏
12-26 1042
常见的zookeeper命令行操作。在3台机器分别部署了zookeeper-3.4.5【集群】，本文操作是在此基础上进行的。部署详情参见上一篇文章
Zookeeper03之客户端命令操作
波波烤鸭的博客
02-26 3231
  前面两篇文章给大家介绍了zookeeper的集群搭建，本篇文章来介绍下zookeeper的客户端命令操作 Zookeeper01之介绍和安装环境准备 Zookeeper02之集群环境搭建 bin目录下常用的脚本解释 脚本 说明 zkCleanup 清理Zookeeper历史数据，包括食物日志文件和快照数据文件 zkCli Zookeeper的一个简易客户端 zkEn...
zookeeper安装部署与常规操作
- 只为伊人 博客
11-05 777
zookeeper安装部署与常规操作 ZooKeeper是用于分布式应用程序的协调服务。它公开了一组简单的API，分布式应用程序可以基于这些API用于同步，节点状态、配置等信息、服务注册等信息。其由JAVA编写，支持JAVA 和C两种语言的客户端。 zookeeper 基于JAVA开发，下载后只要有对应JVM环境即可运行。其默认的端口号是2181运行前得保证其不冲突。 具体部署流程 下载地址：ht...
Zookeeper
qq_45546075的博客
07-30 292
Zookeeper的介绍和安装Zookeeper客户端使用ZookeeperJavaAPI使用我们为了学习Dubbo，而在dubbo中需要一个注册中心，而Zookeeper是我们在使用Dubbo是官方推荐的注册中心，所以我们先来介绍ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper节点数据操作流程及zookeeper的应用场景
嗯哼的博客
08-26 1300
zk节点数据操作流程： 首先回顾一下Zookeeper中Leader和Follower的作用： Leader：负责进行投票的发起和决议，分布式读写，更新请求转发； Follower：负责接收客户端请求并向客户端返回结果，在选举Leader过程中参与投票（选举机制）； 一、写数据流程 以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2 （1）Client向Zookeeper的server1发送一个写请求，客户...
05.大数据技术之zookeeper
wzb1983的博客
07-11 512
Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。 诸如： 统一命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列（sub/pub）、分布式锁、分布式协
zookeeper
最新发布
qq_48501521的博客
09-20 1366
定义：zookeeper是分布式协调服务框架，开源，为分布式系统提供一致性服务使用了zookeeper的开源项目：kafka:zookeeper为kafka提供broker和topic的注册以及多个partition的负载均衡功能Hbase：ZooKeeper 为 Hbase 提供确保整个集群只有一个 Master 以及保存和提供 regionserver 状态信息（是否在线）等功能Hadoop : ZooKeeper 为 Namenode 提供高可用支持。
搭建Zookeeper主从运行环境
冲出仁川，走出马德里，故事还会再继续
06-10 993
Zookeeper准确来说没有集群模式，只有主从复制模式，因为每台ZooKeeper服务器中存储的数据都是一样的，master主服务器在ZooKeeper中称为Leader领导者，slave从服务器在ZooKeeper中称为Follower跟随者，Leader服务器会将数据同步复制到Follower服务器中，Leader和Follower中的数据是一样的，所以并不是集群模式，而是主从复制模式。
Zookeeper：用客户端对Zookeeper进行操作
weixin_41126842的博客
06-05 243
zookeeper集群搭建点这里 1 集群搭建成功后，我们启动客户端 2 成功启动如下 3 输入help,就是操作zookeeper的所有命令 4 zookeeper的数据结构（关注公众号：java进阶） a、层次化的目录结构，命名符合常规文件系统规范(见下图) b、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识 c、节点Znode可以包含...
Zookeeper java客户端API常规应用
weixin_42213903的博客
10-07 251
文章目录Zookeeper1.初始连接2.创建、查看节点3.监听节点4.设置节点ACL权限5.第三方客户端ZkClient实践配置日志文件测试代码问题解决 Zookeeper zookeeper 提供了java与C两种语言的客户端。在此学习的就是java客户端。 引入最新的maven依赖： <dependency> <groupId>org.apac...
Redis
GKTDSR的博客
02-03 1002
Redis Redis是一款基于内存的K-V非关系型数据库. 在6.x之前Redis只使用Worker线程来进行数据的读取，计算，写入，这种只有单线程下的Redis会很大被IO瓶颈所限制还有本身会造成极大的硬件资源浪费。 在6.x之后Redis里面实际上并不是单线程工作，而是分为worker和io thread，其中worker只负责串行提供的计算服务，而io thread只提供数据的并行read和write这样减少了Redis的处理时间的。但是实际上每个线程再对于数据的操作还是串行的单线程。 Redi
面试系列之集合
GKTDSR的博客
03-03 789
一、基础知识：Collection(Java SDK不提供直接继承自Collection的类，Java SDK提供的类都是继承自Collection的“子接口”如List和Set)├List（有重复元素、有顺序）│├LinkedList 改快读慢│├ArrayList   读快改慢   hash介于两者之间│└Vector│　└Stack└Set(不包含重复元素但是是无序的)collection迭...
httpclient使用系列
GKTDSR的博客
02-28 435
1.httpclient介绍：     httpclient我理解为就是Java做到模拟访问指定浏览器的以获取指定信息或者制定操作的一种技术，而其实现就是通过自己拼装请求头以及请求参数必要时还可以自己组装cookie来实现程序端访问网站服务器达到自动化的过程。2.httpclient常用方法：1. 创建HttpClient 。2.创建请求实例，指定URL。发送GET请求，创建HttpGet对象；发...
分布式系统-CAP原则
GKTDSR的博客
02-23 414
分布式CAP原则 C（Consistency）一致性：分布式系统中所有主机在同一时刻是否可以保证数据一致，即写入一台主机后其他主机均写成功则存在一致性； A（Availability）可用性：在集群中部分节点发生故障是否会影响到对客户端读写请求的详情，保证集群中部分故障不会影响到整个集群称为可用性； P（Partition tolerance）分区容错性：分布式系统中一台主机称为一个分区，分布式系统各个主机可能会存在数据不一致性或可用性问题。该分布式系统对于上述两种问题的兼容性称为分区容错性。 分布式系
RocketMQ
GKTDSR的博客
02-03 385
RocketMQ RocketMQ结构组成 RockMQ由四个部分构成： NamerServer 无状态节点，可集群部署，但是节点之间无通信。该节点主要存储Producer和Customer的配置信息和状态信息、Broker集群配置信息和元信息。相比于Zookeeper的分布式协调，NameServer更加轻量级不会存在自动选举能力，因为MasterBroker中不会保存所有的Topic所以集群式的NameServer失去选举机制的意义而且又是跟轻量级的任务协调框架。 Broker 消息存储者和转发者，B
面试系列之常见问题
GKTDSR的博客
03-09 380
1.Spring MVC运行顺序1）用户发送请求至前端控制器DispatcherServlet。2）DispatcherServlet收到请求调用HandlerMapping处理器映射器。3）处理器映射器找到具体的处理器，生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet。4）DispatcherServlet调用HandlerAdapter处理器适配器。5）...
Dubbo
GKTDSR的博客
02-03 328
Dubbo 结构介绍 服务接口层（Service）:与实际业务逻辑相关，根据消费者和生产者业务设计对应接口和实现； 配置层（Config）:对外配置接口，负责Dubbo中生成各种配置类，例如协议，生产者以及具体的Bean信息的等等，方便再暴露和做负载均衡时直接使用 源码 服务代理层（Proxy）:根据上一层生成的各个配置信息，两端根据ProxyFactory生成代理信息Invoker。 服务注册层（Registry）:将已经生成Invoker信息导出并注册到注册中心进行服务暴露，此时生产者提供的服务可
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值