【大数据day08】—— Zookeeper 的概述及安装使用（Zookeeper安装， Zookeeper的Shell 客户端操作，zookeeper的JavaAPI操作）

最新推荐文章于 2024-03-21 21:44:33 发布
最新推荐文章于 2024-03-21 21:44:33 发布
阅读量289 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38454176/article/details/104763673
版权

源码及资料
链接：https://pan.baidu.com/s/10fBC0IeN0VJq_mZyx0pk_A
提取码：9xg2

1 Zookeeper 的概述

  • Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题

在这里插入图片描述

2:Zookeeper的特点

  • Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库
    在这里插入图片描述- 在上图左侧, Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点
    • Znode 是有路径的, 例如 /data/host1 , /data/host2 , 这个路径也可以理解为是Znode 的 Name
    • Znode 也可以携带数据, 例如说某个 Znode 的路径是 /data/host1 , 其值是一个字符
      串 “192.168.0.1”

在这里插入图片描述

  • 正因为 Znode 的特性, 所以 Zookeeper 可以对外提供出一个类似于文件系统的试图, 可以通过操作文件系统的方式操作 Zookeeper
    • 使用路径获取 Znode
    • 获取 Znode 携带的数据
    • 修改 Znode 携带的数据
    • 删除 Znode
    • 添加 Znode

3.Zookeeper的应用场景

3.1 数据发布/订阅

  • 数据发布/订阅系统,需要发布者将数据发布到Zookeeper的节点上，供订阅者进行数据订阅，进而达到动态获取数据的目的，实现配置信息的集中式管理和数据的动态更新。
  • 发布/订阅一般有两种设计模式：推模式和拉模式，服务端主动将数据更新发送给所有订阅的客户端称为推模式；客户端主动请求获取最新数据称为拉模式.
  • Zookeeper采用了推拉相结合的模式，客户端向服务端注册自己需要关注的节点，一旦该节点数据发生变更，那么服务端就会向相应的客户端推送Watcher事件通知，客户端接收到此通知后，主动到服务端获取最新的数据。
    在这里插入图片描述

3.2 命名服务

  • 命名服务是分步实现系统中较为常见的一类场景，分布式系统中，被命名的实体通常可
    以是集群中的机器、提供的服务地址或远程对象等，通过命名服务，客户端可以根据指定名
    字来获取资源的实体，在分布式环境中，上层应用仅仅需要一个全局唯一的名字。Zookeeper
    可以实现一套分布式全局唯一ID的分配机制。
    在这里插入图片描述

  • 通过调用Zookeeper节点创建的API接口就可以创建一个顺序节点，并且在API返回值中会
    返回这个节点的完整名字，利用此特性，可以生成全局ID，其步骤如下

  1. 客户端根据任务类型，在指定类型的任务下通过调用接口创建一个顺序节点，如"job-
    "。
  2. 创建完成后，会返回一个完整的节点名，如"job-00000001"。
  3. 客户端拼接type类型和返回值后，就可以作为全局唯一ID了，如"type2-job-00000001"。

3.3 分布式协调/通知

  • Zookeeper中特有的Watcher注册于异步通知机制，能够很好地实现分布式环境下不同机
    器，甚至不同系统之间的协调与通知，从而实现对数据变更的实时处理。通常的做法是不同
    的客户端都对Zookeeper上的同一个数据节点进行Watcher注册，监听数据节点的变化（包括
    节点本身和子节点），若数据节点发生变化，那么所有订阅的客户端都能够接收到相应的
    Watcher通知，并作出相应处理。

  • 在绝大多数分布式系统中，系统机器间的通信无外乎 心跳检测、工作进度汇报和系统调
    度 。

① 心跳检测，不同机器间需要检测到彼此是否在正常运行，可以使用Zookeeper实现机
器间的心跳检测，基于其临时节点特性（临时节点的生存周期是客户端会话，客户端若宕机后，其临时节点自然不再存在），可以让不同机器都在Zookeeper的一个指定节点下创建临时子节点，不同的机器之间可以根据这个临时子节点来判断对应的客户端机器是否存活。通过Zookeeper可以大大减少系统耦合。
在这里插入图片描述

② 工作进度汇报，通常任务被分发到不同机器后，需要实时地将自己的任务执行进度汇
报给分发系统，可以在Zookeeper上选择一个节点，每个任务客户端都在这个节点下面创建临时子节点，这样不仅可以判断机器是否存活，同时各个机器可以将自己的任务执行进度写到该临时节点中去，以便中心系统能够实时获取任务的执行进度。

③ 系统调度，Zookeeper能够实现如下系统调度模式：分布式系统由控制台和一些客户
端系统两部分构成，控制台的职责就是需要将一些指令信息发送给所有的客户端，以控制他们进行相应的业务逻辑，后台管理人员在控制台上做一些操作，实际上就是修改Zookeeper上某些节点的数据，Zookeeper可以把数据变更以时间通知的形式发送给订阅客户端。

3.4分布式锁

  • 分布式锁用于控制分布式系统之间同步访问共享资源的一种方式，可以保证不同系统访问一个或一组资源时的一致性，主要分为排它锁和共享锁。
    在这里插入图片描述
  • 排它锁又称为写锁或独占锁 ，若事务T1对数据对象O1加上了排它锁，那么在整个加锁期间，只允许事务T1对O1进行读取和更新操作，其他任何事务都不能再对这个数据对象进行任何类型的操作，直到T1释放了排它锁。

在这里插入图片描述

① 获取锁，在需要获取排它锁时，所有客户端通过调用接口，在/exclusive_lock节点下创建临时子节点/exclusive_lock/lock。Zookeeper可以保证只有一个客户端能够创建成功，没有成功的客户端需要注册/exclusive_lock节点监听。

② 释放锁，当获取锁的客户端宕机或者正常完成业务逻辑都会导致临时节点的删除，此
时，所有在/exclusive_lock节点上注册监听的客户端都会收到通知，可以重新发起分布式锁获取。

共享锁又称为读锁 ，若事务T1对数据对象O1加上共享锁，那么当前事务只能对O1进行读取操作，其他事务也只能对这个数据对象加共享锁，直到该数据对象上的所有共享锁都被释放。在需要获取共享锁时，所有客户端都会到/shared_lock下面创建一个临时顺序节点
在这里插入图片描述

3.5 分布式队列

  • 有一些时候，多个团队需要共同完成一个任务，比如，A团队将Hadoop集群计算的结果交给B团队继续计算，B完成了自己任务再交给C团队继续做。这就有点像业务系统的工作流一样，一环一环地传下去.
  • 分布式环境下，我们同样需要一个类似单进程队列的组件，用来实现跨进程、跨主机、跨网络的数据共享和数据传递，这就是我们的分布式队列。

4.Zookeeper的架构

  • Zookeeper集群是一个基于主从架构的高可用集群
    在这里插入图片描述
    每个服务器承担如下三种角色中的一种
    • Leader 一个Zookeeper集群同一时间只会有一个实际工作的Leader，它会发起并维护与各Follwer及Observer间的心跳。所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器。
    • Follower 一个Zookeeper集群可能同时存在多个Follower，它会响应Leader的心跳。Follower可直接处理并返回客户端的读请求，同时会将写请求转发给Leader处理，并且负责在Leader处理写请求时对请求进行投票。
    • Observer 角色与Follower类似，但是无投票权。
      在这里插入图片描述

5:Zookeeper的选举机制

  • Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下两种情况之一时，需要进入Leader选举。

5.1. 服务器启动时期的Leader选举

  • 若进行Leader选举，则至少需要两台机器，这里选取3台机器组成的服务器集群为例。在集群初始化阶段，当有一台服务器Server1启动时，其单独无法进行和完成Leader选举，当第二台服务器Server2启动时，此时两台机器可以相互通信，每台机器都试图找到Leader，于是进入Leader选举过程。选举过程如下

    (1) 每个Server发出一个投票。由于是初始情况，Server1和Server2都会将自己作为Leader服务器来进行投票，每次投票会包含所推举的服务器的myid和ZXID，使用(myid, ZXID)来表示，此时Server1的投票为(1, 0)，Server2的投票为(2, 0)，然后各自将这个投票发给集群中其他机器。

    (2) 接受来自各个服务器的投票。集群的每个服务器收到投票后，首先判断该投票的有效性，如检查是否是本轮投票、是否来自LOOKING状态的服务器。
    (3) 处理投票。针对每一个投票，服务器都需要将别人的投票和自己的投票进行PK，PK规则如下

    • 优先检查ZXID。ZXID比较大的服务器优先作为Leader。
    • 如果ZXID相同，那么就比较myid。myid较大的服务器作为Leader服务器。

    对于Server1而言，它的投票是(1, 0)，接收Server2的投票为(2, 0)，首先会比较两者的
    ZXID，均为0，再比较myid，此时Server2的myid最大，于是更新自己的投票为(2, 0)，然后重新投票，对于Server2而言，其无须更新自己的投票，只是再次向集群中所有机器发出上一次投票信息即可。
    (4) 统计投票。每次投票后，服务器都会统计投票信息，判断是否已经有过半机器接受到相同的投票信息，对于Server1、Server2而言，都统计出集群中已经有两台机器接受了(2, 0)的投票信息，此时便认为已经选出了Leader。
    (5) 改变服务器状态。一旦确定了Leader，每个服务器就会更新自己的状态，如果是
    Follower，那么就变更为FOLLOWING，如果是Leader，就变更为LEADING。
    在这里插入图片描述

5.2.服务器运行时期的Leader选举

  • 在Zookeeper运行期间，Leader与非Leader服务器各司其职，即便当有非Leader服务器宕
    机或新加入，此时也不会影响Leader，但是一旦Leader服务器挂了，那么整个集群将暂停对外服务，进入新一轮Leader选举，其过程和启动时期的Leader选举过程基本一致过程相同。

6: Zookeeper安装

集群规划

服务器IP主机名myid的值
192.168.174.100node011
192.168.174.110node022
192.168.174.120node033

第一步：下载zookeeeper的压缩包，下载网址如下

http://archive.apache.org/dist/zookeeper/

我们在这个网址下载我们使用的zk版本为3.4.9

下载完成之后，上传到我们的linux的/export/softwares路径下准备进行安装

第二步：解压

解压zookeeper的压缩包到/export/servers路径下去，然后准备进行安装

cd /export/software

tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/

第三步：修改配置文件

第一台机器修改配置文件

cd /export/servers/zookeeper-3.4.9/conf/

cp zoo_sample.cfg zoo.cfg

mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/

vim zoo.cfg

dataDir=/export/servers/zookeeper-3.4.9/zkdatas
# 保留多少个快照
autopurge.snapRetainCount=3
# 日志多少小时清理一次
autopurge.purgeInterval=1
# 集群中服务器地址
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

第四步：添加myid配置

在第一台机器的

/export/servers/zookeeper-3.4.9/zkdatas /这个路径下创建一个文件，文件名为myid ,文件内容为1

echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第五步：安装包分发并修改myid的值

安装包分发到其他机器

第一台机器上面执行以下两个命令

scp -r /export/servers/zookeeper-3.4.9/ node02:/export/servers/

scp -r /export/servers/zookeeper-3.4.9/ node03:/export/servers/

第二台机器上修改myid的值为2

echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid

在这里插入图片描述

第三台机器上修改myid的值为3

echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid

在这里插入图片描述

第六步：三台机器启动zookeeper服务

三台机器启动zookeeper服务

这个命令三台机器都要执行

/export/servers/zookeeper-3.4.9/bin/zkServer.sh start

查看启动状态

/export/servers/zookeeper-3.4.9/bin/zkServer.sh status

在这里插入图片描述在这里插入图片描述
在这里插入图片描述可以看到，node03是leader，node01和node02都是follower

7. zookeeper的数据模型

  • ZooKeeper 的数据模型，在结构上和标准文件系统的非常相似，拥有一个层

次的命名空间，都是采用树形层次结构.

在这里插入图片描述

  • ZooKeeper 树中的每个节点被称为—个Znode。和文件系统的目录树一样，ZooKeeper 树中的每个节点可以拥有子节点。

但也有不同之处：

  1. Znode 兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、 时间戳等数据结构，又像目录一样可以作为路径标识的一部分，并可以具有 子 Znode。用户对 Znode 具有增、删、改、查等操作（权限允许的情况下）。
  2. Znode 存储数据大小有限制。ZooKeeper 虽然可以关联一些数据，但并没有 被设计为常规的数据库或者大数据存储，相反的是，它用来管理调度数据， 比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的 共同特性就是它们都是很小的数据，通常以 KB 为大小单位。ZooKeeper 的服 务器和客户端都被设计为严格检查并限制每个 Znode 的数据大小至多 1M，常规使用中应该远小于此值。
  3. Znode 通过路径引用，如同 Unix 中的文件路径。路径必须是绝对的，因此他 们必须由斜杠字符来开头。除此以外，他们必须是唯一的，也就是说每一个 路径只有一个表示，因此这些路径不能改变。在 ZooKeeper 中，路径由 Unicode 字符串组成，并且有一些限制。字符串"/zookeeper"用以保存管理 信息，比如关键配额信息。
  4. 每个 Znode 由 3 部分组成:
    • stat：此为状态信息, 描述该 Znode 的版本, 权限等信息
    • data：与该 Znode 关联的数据
    • children：该 Znode 下的子节点

8. Znode节点类型

8.1 Znode 有两种，分别为临时节点和永久节点。节点的类型在创建时即被确定，并且不能改变。

  • 临时节点：该节点的生命周期依赖于创建它们的会话。一旦会话结束，临时 节点将被自动删除，当然可以也可以手动删除。临时节点不允许拥有子节点。
  • 永久节点：该节点的生命周期不依赖于会话，并且只有在客户端显示执行删除操作的时候，他们才能被删除。

8.2 Znode 还有一个序列化的特性，如果创建的时候指定的话，该 Znode 的名字后面会自动追加一个不断增加的序列号。序列号对于此节点的父节点来说是唯一的，这样便会记录每个子节点创建的先后顺序。它的格式为“%10d”(10 位数字，没有数值的数位用 0 补充，例如“0000000001”)。

8.3 这样便会存在四种类型的 Znode 节点，分别对应：

  • PERSISTENT：永久节点
  • EPHEMERAL：临时节点
  • PERSISTENT_SEQUENTIAL：永久节点、序列化
  • EPHEMERAL_SEQUENTIAL：临时节点、序列化

9 Zookeeper的Shell 客户端操作

9.1登录Zookeeper客户端

bin/zkCli.sh  -server node01:2181

9.2 Zookeeper客户端操作命令

命令说明参数
create [-s] [-e] path data acl创建Znode-s 指定是顺序节点
-e 指定是临时节点
ls path [watch]列出Path下所有子Znode
get path [watch]获取Path对应的Znode的数据和属性
ls2 path [watch]查看Path下所有子Znode以及子Znode的属性
set path data [version]更新节点version 数据版本
delete path [version]删除节点, 如果要删除的节点有子Znode则无法删除version 数据版本
rmr path删除节点, 如果有子Znode则递归删除
setquota -n|-b val path修改Znode配额-n 设置子节点最大个数
-b 设置节点数据最大长度
history列出历史记录

9.3 操作实例

列出Path下的所有Znode

ls /

1：创建普通节点

create /app1 hello

2: 创建顺序节点

create -s /app3 world

3:创建临时节点

create -e /tempnode world

创建永久节点

create /hello world

4:创建顺序的临时节点

create -s -e /tempnode2 aaa

创建永久序列化节点

create -s /zhangsan boy

5:获取节点数据

get /app1

6:修改节点数据

set /app1 xxx

7:删除节点

delete /app1 删除节点, 如果要删除的节点有子Znode则无法删除

​ rmr /app1 删除节点, 如果有子Znode则递归删除

8:列出历史记录

histroy

9.4 文件系统

  • 文件系统的核心是 Znode
  • 如果想要选取一个 Znode, 需要使用路径的形式, 例如 /test1/test11
  • Znode 本身并不是文件, 也不是文件夹, Znode 因为具有一个类似于 Name 的路径, 所以可以从逻辑上实现一个树状文件系统
  • ZK 保证 Znode 访问的原子性, 不会出现部分 ZK 节点更新成功, 部分 ZK 节点更新失败的问题
  • Znode 中数据是有大小限制的, 最大只能为1M
  • Znode是由三个部分构成
    • stat: 状态, Znode的权限信息, 版本等
    • data: 数据, 每个Znode都是可以携带数据的, 无论是否有子节点
    • children: 子节点列表

9.5 Znode 的类型

  • 每个Znode有两大特性, 可以构成四种不同类型的Znode
    • 持久性
      • 持久 客户端断开时, 不会删除持有的Znode
      • 临时 客户端断开时, 删除所有持有的Znode, 临时Znode不允许有子Znode
    • 顺序性
      • 有序 创建的Znode有先后顺序, 顺序就是在后面追加一个序列号, 序列号是由父节点管理的自增
      • 无序 创建的Znode没有先后顺序

9.6 Znode的属性

每个 znode 都包含了一系列的属性，通过命令 get，可以获得节点的属性。
在这里插入图片描述
dataVersion：数据版本号，每次对节点进行 set 操作，dataVersion 的值都会增加 1（即使设置的是相同的数据），可有效避免了数据更新时出现的先后顺序问题。

cversion ：子节点的版本号。当 znode 的子节点有变化时，cversion 的值就会增加 1。

aclVersion ：ACL 的版本号。

cZxid ：Znode 创建的事务 id。

mZxid ：Znode 被修改的事务 id，即每次对 znode 的修改都会更新 mZxid。

  • 对于 zk 来说，每次的变化都会产生一个唯一的事务 id，zxid（ZooKeeper Transaction Id）。通过 zxid，可以确定更新操作的先后顺序。例如，如果 zxid1
  • 小于 zxid2，说明 zxid1 操作先于 zxid2 发生，zxid 对于整个 zk 都是唯一的，

ctime：节点创建时的时间戳.

mtime：节点最新一次更新发生时的时间戳.

ephemeralOwner:如果该节点为临时节点, ephemeralOwner 值表示与该节点绑定的 session id. 如果不 是,ephemeralOwner 值为 0.

9.7 Zookeeper的watch机制

在这里插入图片描述

  • 通知类似于数据库中的触发器, 对某个Znode设置 Watcher, 当Znode发生变化的时候, WatchManager会调用对应的Watcher
  • 当Znode发生删除, 修改, 创建, 子节点修改的时候, 对应的Watcher会得到通知
  • Watcher的特点
    • 一次性触发 一个 Watcher 只会被触发一次, 如果需要继续监听, 则需要再次添加 Watcher
    • 事件封装: Watcher 得到的事件是被封装过的, 包括三个内容 keeperState, eventType, path
KeeperStateEventType触发条件说明
None连接成功
SyncConnectedNodeCreatedZnode被创建此时处于连接状态
SyncConnectedNodeDeletedZnode被删除此时处于连接状态
SyncConnectedNodeDataChangedZnode数据被改变此时处于连接状态
SyncConnectedNodeChildChangedZnode的子Znode数据被改变此时处于连接状态
DisconnectedNone客户端和服务端断开连接此时客户端和服务器处于断开连接状态
ExpiredNone会话超时会收到一个SessionExpiredException
AuthFailedNone权限验证失败会收到一个AuthFailedException

会话

  • 在ZK中所有的客户端和服务器的交互都是在某一个Session中的, 客户端和服务器创建一个连接的时候同时也会创建一个Session
  • Session会在不同的状态之间进行切换: CONNECTING, CONNECTED, RECONNECTING, RECONNECTED, CLOSED
  • ZK中的会话两端也需要进行心跳检测, 服务端会检测如果超过超时时间没收到客户端的心跳, 则会关闭连接, 释放资源, 关闭会话

10: zookeeper的JavaAPI操作

  • 这里操作Zookeeper的JavaAPI使用的是一套zookeeper客户端框架 Curator ，解决了很多Zookeeper客户端非常底层的细节开发工作 。

Curator包含了几个包：

  • curator-framework：对zookeeper的底层api的一些封装
  • curator-recipes：封装了一些高级特性，如：Cache事件监听、选举、分布式锁、分布式计数器等

Maven依赖(使用curator的版本：2.12.0，对应Zookeeper的版本为：3.4.x，如果跨版本会有兼容性问题，很有可能导致节点操作失败)：

10.1、创建java工程，导入jar包

创建maven java工程，导入jar包

  <!-- <repositories>

        <repository>

          <id>cloudera</id>

          <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>

        </repository>

      </repositories> -->

    <dependencies>

        <dependency>

            <groupId>org.apache.curator</groupId>

            <artifactId>curator-framework</artifactId>

            <version>2.12.0</version>

        </dependency>

        <dependency>

            <groupId>org.apache.curator</groupId>

            <artifactId>curator-recipes</artifactId>

            <version>2.12.0</version>

        </dependency>

        <dependency>

            <groupId>com.google.collections</groupId>

            <artifactId>google-collections</artifactId>

            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
        </dependency>
    </dependencies>

    <build>

        <plugins>

            <!-- java编译插件 -->

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-compiler-plugin</artifactId>

                <version>3.2</version>

                <configuration>

                    <source>1.8</source>

                    <target>1.8</target>

                    <encoding>UTF-8</encoding>

                </configuration>

            </plugin>

        </plugins>

    </build>

10.2 节点的操作

创建永久节点
/**
 * 创建永久节点
 * @throws Exception
 */
@Test
public void createZnode() throws Exception {
    //1.定制一个重试策略
    /*
    param1:重试的间隔时间
    param2:重试的最大次数
     */
    RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);

    //2.获取一个客户对象
    /*
    param1：要连接的服务器列表
    param2：会话超时时间
    param3：链接超时时间
    param4：重试策略

     */
    String connectionStr = "192.168.203.130:2181,192.168.203.140:2181,192.168.203.150:2181";
    CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);

    //3.开启客户端
    client.start();

    //4.创建节点 在根目录下创建了一个永久性节点
           /* 参数说明
            PERSISTENT ：永久节点
            PERSISTENT_SEQUENTIAL ：永久序列节点
            EPHEMERAL ： 临时节点
            EPHEMERAL_SEQUENTIAL ：临时序列节点
            */
    client.create().creatingParentsIfNeeded().withMode(CreateMode.PERSISTENT).forPath("/hello2","world".getBytes());

    //5.关闭客户端
    client.close();
}
创建临时节点
/**
 * 创建临时节点
 * @throws Exception
 */
@Test
public void createTMPZnode() throws Exception {
    //1.定制一个重试策略
    /*
    param1:重试的间隔时间
    param2:重试的最大次数
     */
    RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);

    //2.获取一个客户对象
    /*这种方式获取服务器列表，需要在 C:\Windows\System32\drivers\etc\hosts 文件末尾加入下面内容
        192.168.203.130  node01  node01.hadoop.com
        192.168.203.140  node02  node02.hadoop.com
        192.168.203.150  node03  node03.hadoop.com
     */
    String connectionStr = "node01:2181,node02:2181,node03:2181";
    /*
    param1：要连接的服务器列表
    param2：会话超时时间
    param3：链接超时时间
    param4：重试策略
     */
    CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);

    //3.开启客户端
    client.start();

    //4.创建节点 在根目录下创建了一个永久性节点
           /* 参数说明
            PERSISTENT ：永久节点
            PERSISTENT_SEQUENTIAL ：永久序列节点
            EPHEMERAL ： 临时节点
            EPHEMERAL_SEQUENTIAL ：临时序列节点
            */
    client.create().creatingParentsIfNeeded().withMode(CreateMode.EPHEMERAL).forPath("/hello3","world".getBytes());

    //设置线程睡眠5秒，不然当执行第五步之后，会话结束，临时节点将会被删除
    //查看是手速快一点到虚拟机中ls / 查看节点就看查看到，或者时间设置长一些
    Thread.sleep(5000);
    //5.关闭客户端
    client.close();
}
修改节点数据
/**
 * 修改节点数据
 * @throws Exception
 */
@Test
public void setZnodeData() throws Exception {
    //1.定制一个重试策略
    /*
    param1:重试的间隔时间
    param2:重试的最大次数
     */
    RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);

    //2.获取一个客户对象
    /*这种方式获取服务器列表，需要在 C:\Windows\System32\drivers\etc\hosts 文件末尾加入下面内容
        192.168.203.130  node01  node01.hadoop.com
        192.168.203.140  node02  node02.hadoop.com
        192.168.203.150  node03  node03.hadoop.com
     */
    String connectionStr = "node01:2181,node02:2181,node03:2181";
    /*
    param1：要连接的服务器列表
    param2：会话超时时间
    param3：链接超时时间
    param4：重试策略
     */
    CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);

    //3.开启客户端
    client.start();

    //4.修改hello节点数据为zookeeper
    client.setData().forPath("/hello","zookeeper".getBytes());
    //5.关闭客户端
    client.close();
}
节点数据查询
/**
 * 获取节点数据
 * @throws Exception
 */
@Test
public void getZnodeData() throws Exception {
    //1.定制一个重试策略
    /*
    param1:重试的间隔时间
    param2:重试的最大次数
     */
    RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);

    //2.获取一个客户对象
    /*这种方式获取服务器列表，需要在 C:\Windows\System32\drivers\etc\hosts 文件末尾加入下面内容
        192.168.203.130  node01  node01.hadoop.com
        192.168.203.140  node02  node02.hadoop.com
        192.168.203.150  node03  node03.hadoop.com
     */
    String connectionStr = "node01:2181,node02:2181,node03:2181";
    /*
    param1：要连接的服务器列表
    param2：会话超时时间
    param3：链接超时时间
    param4：重试策略
     */
    CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);

    //3.开启客户端
    client.start();

    //4.获取hello节点数据,得到的是一个字节数组
    byte[] bytes = client.getData().forPath("/hello");
    System.out.println(bytes);//[B@2758fe70
    System.out.println(new String(bytes));//zookeeper
    //5.关闭客户端
    client.close();
}
节点watch机制
/**
 * 节点的watch机制
 * @throws Exception
 */
@Test
public void watchZnode() throws Exception {
    //1.定制一个重试策略
    /*
    param1:重试的间隔时间
    param2:重试的最大次数
     */
    RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);

    //2.获取一个客户对象
    /*这种方式获取服务器列表，需要在 C:\Windows\System32\drivers\etc\hosts 文件末尾加入下面内容
        192.168.203.130  node01  node01.hadoop.com
        192.168.203.140  node02  node02.hadoop.com
        192.168.203.150  node03  node03.hadoop.com
     */
    String connectionStr = "node01:2181,node02:2181,node03:2181";
    /*
    param1：要连接的服务器列表
    param2：会话超时时间
    param3：链接超时时间
    param4：重试策略
     */
    CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);

    //3.开启客户端
    client.start();

    //4.创建一个TreeCache对象，指定要监控的节点路径
    /*
    param1：客户端对象
    param1：要监控的节点路径
     */
    TreeCache treeCache = new TreeCache(client, "/hello3");

    //5.自定义一个监听器 匿名内部类方式
    treeCache.getListenable().addListener(new TreeCacheListener() {
        @Override
        public void childEvent(CuratorFramework curatorFramework, TreeCacheEvent treeCacheEvent) throws Exception {
            //getData可以获取监听器触发的数据
            ChildData data = treeCacheEvent.getData();
            if(data != null){
                //如果data不为null，说明监听器被触发了
                //判断触发事件类型
                switch (treeCacheEvent.getType()){
                    case NODE_ADDED:
                        System.out.println("监控到有新增节点");
                        break;
                    case NODE_REMOVED:
                        System.out.println("监控到有节点被移除");
                        break;
                    case NODE_UPDATED:
                        System.out.println("监控到有节点被更新");
                        break;
                    default:
                        break;
                }
            }
        }
    });

    //开始监听
    treeCache.start();

    //线程等待，即监听时长
    //运行程序后，去操作虚拟机，然后查看idea控制台输出内容
    Thread.sleep(100000);

    //6.关闭客户端
    client.close();
}

在这里插入图片描述



大数据专栏，欢迎订阅

我不是靓仔ing
关注
专栏目录
ZooKeeper学习第二期--ZooKeeper安装配置
weixin_30410999的博客
11-03 117
一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■单机模式：Zookeeper只运行在一台服务器上，适合测试环境；■伪集群模式：就是在一台物理机上运行多个Zookeeper 实例；■集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现高...
2、zookeeper基本操作及应用示例（shell、java api、应用场景示例）
alanchanchn的专栏
04-21 5万+
本文接上一篇zookeeper的部署与验证。本文从三个方面介绍zookeeper的基本操作及简单的应用场景。
zookeeper入门到精通07——zookeeper客户端API节点操作与原理
半旧518的博客
06-23 1526
使用java的api方式实现zookeeper的节点监听、操作与写数据的原理
尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
upward
04-13 1197
尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
【Hadoop大数据技术】——ZooKeeper分布式协调服务（学习笔记）
最新发布
HinsCoder的博客
03-21 1038
ZooKeeper是一个开源的分布式协调服务，它是Google Chubby的开源实现，其设计目标是将那些复杂且容易出错的分布式应用封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
4、zookeeper的java三种客户端介绍-Curator（crud、事务操作、监听、分布式计数器、分布式锁）
热门推荐
alanchanchn的专栏
04-23 5万+
**// 会话超时时间 10000 public final static int SESSION_TIMEOUT = 10 * 1000;// 连接超时时间 50000 public final static int CONNECTION_TIMEOUT = 50 * 1000;
Zookeeper——客户端API的相关方法操作
★★光亭★★
05-08 5493
Zookeeper——客户端API的相关方法操作
ZooKeeper详解（二）：Java客户端API操作ZooKeeper
hxt的博客
08-04 1149
三、Java客户端API操作ZooKeeper 引入依赖： <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <vers...
zookeeper JavaAPI操作
weixin_45794641的博客
06-17 1097
使用java对zookeeper进行操作，使用curator框架而不是原生的java API
Zookeeper的Shell 客户端操作和zookeeper java api 代码
Maynor的博客
10-20 2800
Zookeeper的Shell 客户端操作和zookeeper java api 代码Zookeeper的Shell 客户端操作ZooKeeper Java APIzookeeper选举机制 Zookeeper的Shell 客户端操作 运行 zkCli.sh –server ip:2181 命令 说明 参数 create [-s] [-e] path data acl 创建Znode -s 指定是顺序节 点 -e 指定是临时节 点 ls path [watch] 列出Path下所有子Znode get
java大数据案例_4Zookeeper
01-23
【知识点详解】 本文主要涉及Java大数据领域中...以上是基于Java大数据的Zookeeper实践案例，涵盖了安装、配置、操作以及开发接口封装等方面的知识点。在实际项目中，开发者需要根据具体需求对这些知识进行灵活运用。
Java操作Zookeeper原理及过程详解
08-19
在Java应用中，我们可以使用Zookeeper的客户端API来与Zookeeper服务器进行交互。 首先，集成Zookeeper到Java项目中，我们需要在`pom.xml`文件中添加相关的依赖。例如，对于Apache Zookeeper的3.6.0版本，我们需要...
大数据讲课笔记6.6 ZooKeeper的Java API操作
howard2005的专栏
10-10 889
1. 了解ZooKeeper Java API； 2. 能利用Java API操作ZooKeeper
【大数据day01】——Linux系统01（系统安装，远程连接工具secureCRT & winSCP ，Linux常用命令）
qq_38454176的博客
03-05 1242
操作系统概述 目标 了解 操作系统 的作用 1.1 操作系统(Operation System, OS) 操作系统作为接口的示意图: 没有安装操作系统的计算机, 通常被称为 裸机 如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序 如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发 1.2 不同应用利于的主流操作系统 桌面操作系统 ...
【大数据day04】——JVM优化 上（jvm的内存模型，jmap的使用：内存溢出的定位与分析，通过MAT工具对dump文件进行分析，jstack的使用：死锁问题，VisualVM工具的使用）
qq_38454176的博客
03-08 1016
JVM优化 - 第一天 今日内容 了解下我们为什么要学习JVM优化 掌握jvm的运行参数以及参数的设置 掌握jvm的内存模型（堆内存） 掌握jamp命令的使用以及通过MAT工具进行分析 掌握定位分析内存溢出的方法 掌握jstack命令的使用 掌握VisualJVM工具的使用 资料： 链接：https://pan.baidu.com/s/1GVj1G97naeVItuVmW1pR8A 提取码：p...
【大数据day17】——Hive数据仓库（数据库与数据仓库的区别，Hive 的基本概念， Hive 的安装， Hive 的安装，Hive 的基本操作1）
qq_38454176的博客
04-01 909
数据仓库-Hive 1. 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面向分析的存储系统。 1.2. 主要特征 数据仓库是面向主题的（Subject-Oriented ）、集成的（In
【大数据day10】——Hadoop 核心-HDFS（HDFS 的架构，HDFS的副本机制和机架感知，hdfs的高级使用命令， HDFS基准测试，HDFS 文件读写过程，HDFS 的元数据辅助管理）
qq_38454176的博客
04-19 893
Hadoop 核心-HDFS1. HDFS概述1.1 介绍1.2 历史2. HDFS应用场景2.1 适合的应用场景2.2 不适合的应用场景3. HDFS 的架构4:NameNode和DataNode4.2 DataNode作用5:HDFS的副本机制和机架感知5.1 HDFS 文件副本机制5.2 机架感知6、hdfs的命令行使用7、hdfs的高级使用命令7. 1、HDFS文件限额配置7.1.1、数量...
【大数据day03】——linux管道相关命令 & Shell快速入门
qq_38454176的博客
03-07 800
管道相关命令 1.1 cut cut：以某种方式按照文件的行进行分割 参数列表： -b 按字节选取 忽略多字节字符边界，除非也指定了 -n 标志 -c 按字符选取 -d 自定义分隔符，默认为制表符。 -f 与-d一起使用，指定显示哪个区域。 范围控制： ​ n:只有第n项 ​ n-:从第n项一直到行尾 ​ n-m:从第n项到第m项(包括m) 准备工作 vim 1.txt 111:...
"Java大数据内容：Zookeeper分布式安装与开发概述及安装部署
这就需要对Zookeeper的API有一定的了解，同时也需要理解Zookeeper的一致性保证机制，了解一些Zookeeper的内部原理。只有这样，才能够更好地利用Zookeeper来解决实际的分布式问题。 总之，Zookeeper在大数据架构中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值