大数据组件-zookeeper安装,zookeeper的shell客户端操作,节点属性,watch机制zookeeper的javaAPI

最新推荐文章于 2021-12-08 20:23:46 发布
置顶 最新推荐文章于 2021-12-08 20:23:46 发布
阅读量311 收藏 3
点赞数
文章标签： 分布式 zookeeper java mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45154559/article/details/105709159
版权

目录

使用场景

解决数据一致性性问题,本质上是一个存储配置文件的数据库

集群规划

ip 主机名 myid的值
192.168.83.180 node01 1
192.168.83.190 node02 2
192.168.83.200 node03 3
myid这个编号,编号数值越大,在选举中他越有可能成为leader

zookeeper安装

1.下载zookeeper安装包

这里问问使用的zookeeper安装包版本是3.4.9
下载地址
在这里插入图片描述

2.解压

tar -xvf zookeeper-3.4.9.tar.gz -C ../servers/

3.修改配置文件

第一台机器修改配置文件

cd /export/servers/zookeeper-3.4.9/conf/
cp zook_sample.cfg zoo.cfg
mkdir -p /export/servers/zookeeper-3.4.9/zkdatas

vim zoo.cfg

# 指定数据存储位置
dataDir=/export/servers/zookeeper-3.4.9/zkdatas
# 保留多少个文件数,zookeeper会生成各种日志文件,这里是保留多少个
autopurge.snapRetainCount=3
# 日志多少小时清理一次
autopurge.purgeInterval=1
/* 集群中服务器地址:描述了整个zookeeper集群的配置,server.1是myid是1的服务器叫node01,后面的2888:3888表示该服务器对应得端口
*/
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

在这里插入图片描述

4.添加myid配置

步骤1.
创建zkdatas目录

mkdir /export/servers/zookeeper-3.4.9/zkdatas

步骤2.
zkdatas目录下创建文件myid内部写入1

vim myid

5.安装包分发到其他机器并修改myid的值

第一台机器执行以下两个命令

scp -r /export/servers/zookeeper-3.4.9/ node02:/export/servers/
scp -r /export/servers/zookeeper-3.4.9/ node03:/export/servers/

第二台机器

echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第三台机器

echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid

6.启动zookeeper集群

三台机器依次执行

/export/servers/zookeeper-3.4.9/bin/zkServer.sh start

在这里插入图片描述查看启动状态

jps

在这里插入图片描述如果一旦没有,再次启动,使用jps还是没有启动成功.那么问题肯定在zoo.cfg这个配置文件,
配置的内容有误,需要打开再次确定.

zookeeper的shell客户端操作

1.登录zookeeper客户端

# -server表示我要和那个主机相连qiut
/export/servers/zookeeper-3.4.9/bin/zkCli.sh -server node01:2181

在这里插入图片描述

2.zookeeper客户端操作命令

命令说明
create [-s] [-e] path data acl创建Znode -s指定是顺序节点-e指定是临
ls path [watch]列出Path下所有子Znode
get path [watch]列出Path下所有子Zonde
ls2 path [watch]获取Path对应得Znode得数据和属性
set path data [version]更新节点
delete path删除节点,如果要删除的节点有子Znode则无法删除
[version]Znode则无法删除
rmr path删除节点,如果有子Znode则地柜删除
histort列出历史记录

操作实例

1.列出Ptath下的所有Znode

ls /

在这里插入图片描述

2.创建永久节点

# 在根目录下创建hell节点,携带参数world
create /hello world

在这里插入图片描述

3.创建临时节点

临时节点不能创建子节点

create -e /abc 123

在这里插入图片描述

4.创建永久化节点

create -s /zhangsan boy

在这里插入图片描述

5.创建临时系列化节点

create -e -s /lisi boy

在这里插入图片描述

6.修改节点数据

set /hello zookeeper

在这里插入图片描述

7.删除节点,如果要删除的节点有子Znode则无法删除

delete /hello

在这里插入图片描述

8.删除节点,如果有子Znode则递归删除

rmr /abc

在这里插入图片描述

9.列出历史操作

history

在这里插入图片描述

zookeeper节点属性

每个znode都包含了一系列的属性,通过get命令,可以获得节点的属性
在这里插入图片描述
dataVersion:数据版本号,就你每当进行一次set操作,dataVersion的值都会增加1,主要作用是标识更新数据的先后顺序.
cversion:子节点的版本号
aclVersion:ACL的版本号
cZxid:Znode创建的事务id
mZxid:Znode被修改的事物id,即每次对Znode的修改都会更新mZxid,值越大表示数据越新
ctime:创建节点的时间戳
mtime:接到最新一次更新发生时的时间戳

zookeeper的watch机制

watch机制就是给zookeeper的摸一个Znode节点设置监听,当Znode节点发送变化时,会触发watch,通知相应客户端

在这里插入图片描述
watch机制只能触发一次,如果想多次触发,需要多次添加
在这里插入图片描述

zookeeper的javaAPI操作

这里我们使用的是一套zookeeper的成熟的客户端框架Curator

1.Curator包简介:

  • currator-framework:对zookeeper的底层api的一些封装
  • curator-recipes:封装了一些高级特性,如:Cache事件监听,选举,分布式锁,分布式计数器等

2.Maven依赖配置:

- 使用curator的版本:2.12.0,对应zookeeper的版本为:3.4.x,如果跨版本会有兼容性的问题,很有可能导致节点操作失败

3.创建java工程,导入jar包

 <!-- <repositories>
         <repository>
 
          <id>cloudera</id>
 
          <url>https://repository.cloudera.com/artifactory/clouderarepos/</url>
 
        </repository>
 
      </repositories> -->
 
    <dependencies>
 
        <dependency>
 
            <groupId>org.apache.curator</groupId>
 
            <artifactId>curator-framework</artifactId>
 
            <version>2.12.0</version>
 
        </dependency>
 
        <dependency>
 
            <groupId>org.apache.curator</groupId>
 
            <artifactId>curator-recipes</artifactId>
 
            <version>2.12.0</version>
 
        </dependency>
 
        <dependency>
 
            <groupId>com.google.collections</groupId>
 
            <artifactId>google-collections</artifactId>
 
            <version>1.0</version> 
 		</dependency>        
 		<dependency>           
  			<groupId>junit</groupId>
  			<artifactId>junit</artifactId>
  			<version>RELEASE</version>    
  		</dependency> 


 		<dependency> 
            <groupId>org.slf4j</groupId>            
            <artifactId>slf4j-simple</artifactId>            
            <version>1.7.25</version>        
         </dependency>    
    </dependencies>
 
    <build>
 
        <plugins>
 
            <!-- java编译插件 -->
 
            <plugin>
 
                <groupId>org.apache.maven.plugins</groupId>
 
                <artifactId>maven-compiler-plugin</artifactId>
 
                <version>3.2</version>
 
                <configuration>
 
                    <source>1.8</source>
 
                    <target>1.8</target>
 
                    <encoding>UTF-8</encoding>
 
                </configuration>
 
            </plugin>
 
        </plugins>
 
    </build>

4.节点操作

(1)创建永久节点

package cn.itcast.zoopeeprt_api;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.zookeeper.CreateMode;
import org.junit.Test;

public class ZookeeperAPITest {
    @Test
    public void creatZonde() throws Exception {
        //1.定制一个重试策略
        /*  param1:重试间隔时间
            param2:重试间隔次数
         */
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);
        //2.获取一个客户端对象
        /*  param1:服务器连接列表字符串
            param2:会话超时
            param3:连接超时
            param4:重试要使用的策略
        */
        String connectionStr = "192.168.83.180:2181,192.168.83.190:2181,192.168.83.2000:2181";

        CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);
        //3.开启客户端
        client.start();
        //4.创建永久节点节点
        client.create().creatingParentContainersIfNeeded().withMode(CreateMode.PERSISTENT).forPath("/hello2","world".getBytes());
        //5.关闭客户端
        client.close();

    }
}

运行完成后我们用shell命令查看一下是否创建
查看一下ClassMode源码
在这里插入图片描述

(2)创建临时节点

临时节点就是在上述代码中做一些调整,就完成了创建临时节点

CreateMode.EPHEMERAL

(3)修改节点数据

package cn.itcast.zoopeeprt_api;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.zookeeper.CreateMode;
import org.junit.Test;

public class ZookeeperAPITest {
    @Test
    public void creatZonde() throws Exception {
        //1.定制一个重试策略
        /*  param1:重试间隔时间
            param2:重试间隔次数
         */
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(5000,1);
        //2.获取一个客户端对象
        /*  param1:服务器连接列表字符串
            param2:会话超时
            param3:连接超时
            param4:重试要使用的策略
        */
        String connectionStr = "192.168.83.180:2181,192.168.83.190:2181,192.168.83.200:2181";

        CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);
        //3.开启客户端
        client.start();

        //4.修改节点数据
        client.setData().forPath("/hello2","hello2".getBytes());

        //5.关闭客户端
        client.close();

    }
}

在这里插入图片描述

(4)查询节点数据

package cn.itcast.zoopeeprt_api;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.zookeeper.CreateMode;
import org.junit.Test;

public class ZookeeperAPITest {
    @Test
    public void creatZonde() throws Exception {
        //1.定制一个重试策略
        /*  param1:重试间隔时间
            param2:重试间隔次数
         */
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(5000,1);
        //2.获取一个客户端对象
        /*  param1:服务器连接列表字符串
            param2:会话超时
            param3:连接超时
            param4:重试要使用的策略
        */
        String connectionStr = "192.168.83.180:2181,192.168.83.190:2181,192.168.83.200:2181";

        CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);
        //3.开启客户端
        client.start();

        //4.查询节点数据
        byte[] forPath = client.getData().forPath("/hello2");
        System.out.println(new String(forPath));

        //5.关闭客户端
        client.close();

    }
}

在这里插入图片描述

(5)节点watch机制

package cn.itcast.zoopeeprt_api;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.cache.ChildData;
import org.apache.curator.framework.recipes.cache.TreeCache;
import org.apache.curator.framework.recipes.cache.TreeCacheEvent;
import org.apache.curator.framework.recipes.cache.TreeCacheListener;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.zookeeper.CreateMode;
import org.junit.Test;

public class ZookeeperAPITest {
    @Test
    public void creatZonde() throws Exception {
        //1.定制一个重试策略
        /*  param1:重试间隔时间
            param2:重试间隔次数
         */
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(5000,1);
        //2.获取一个客户端对象
        /*  param1:服务器连接列表字符串
            param2:会话超时
            param3:连接超时
            param4:重试要使用的策略
        */
        String connectionStr = "192.168.83.180:2181,192.168.83.190:2181,192.168.83.200:2181";

        CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);
        //3.开启客户端
        client.start();

        //4.设置节点的cache
        TreeCache treeCache = new TreeCache(client, "/hello2"); //监控那个节点

        //5.设置监听和处理过程
        treeCache.getListenable().addListener(new TreeCacheListener() { //获取监听容器.添加一个自定义监听器
            @Override
            public void childEvent(CuratorFramework curatorFramework, TreeCacheEvent treeCacheEvent) throws Exception {
                ChildData data = treeCacheEvent.getData();
                if (data!=null){
                    switch (treeCacheEvent.getType()){ //获取事件触发的类型
                        case NODE_ADDED: //新增节点

                            System.out.println("监控到有新增节点");
                            break;
                        case NODE_REMOVED:
                            System.out.println("监控到有节点被移除");
                            break;
                        case NODE_UPDATED:
                            System.out.println("监控到有节点数据被更改");
                            break;

                    }
                }
            }
        });

        //6.开始监听
        treeCache.start();

        //7.程序从上到下运行,直接就结束了,这里我们需要一个延时,把程序挂起
        Thread.sleep(100000000);


    }
}

在这里插入图片描述

Node does not exist

zk的选举机制

就是一张桌子上有一个票,让一堆机器,进行抢,谁抢到谁就是master,领导,其他的节点就是工人,他每隔几秒就选举一次,选举前本身就是领导的机器,他有优先权,所以他不挂掉,他会一直站着这个master的位置,其他节点只能当工人,但是一点他挂掉,剩下的机器都是没有优先权的,谁抢到谁,谁就晋升为master.

程序猿与汪
关注
循序渐进大数据组件之--【Zookeeper 04】Java-API调用，代码操作
Alex的博客
01-15 9473
前面的章节都在说zookeeper的原理、特性、安装方式、服务使用等，本章节说一下zookeeper该如果在java代码中做一些操作，如 ：连接、增加节点、删除节点、查询节点、修改节点数据、节点状态监控等。至此，zookeeper的基本操作到此结束！废话不多说，直接上代码。
大数据平台搭建之zookeeper安装
海涛高软
09-27 177
安装文章 使用 zkCli.sh 这个命令 启动shell客户端 下面是常用 ls / create -s /haitao1 5566 //创建一个序列化节点 create -e /haitao2 6677 //创建一个临时节点 get /haitao1 //获取 /haitao1 的节点值 get -w /haitao1 //获取 /haitao1 的节点值，并且对此节点添加监...
zookeeper使用（一）：简洁概述与shell客户端使用
maoyuanming0806的博客
07-22 1085
本文精简的介绍zookeeper的一些核心概念之后，利用zkCli.sh进行连接zk，实战演示各个命令的使用 [TOC] zookeeper的linux上集群搭建可参看：云服务器环境安装与配置：zookeeper集群 预概念 先介绍些概念 zookeeper数据模型 树形结构 每个树节点Znode都可以进行crud Znode原子操作 每个Znode存...
javaAPI操作Zookeeper
weixin_45505597的博客
03-26 176
一.JavaAPI操作zk## 标题 步骤一：导入zk依赖 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</ve...
使用ZooKeeper提供的原生Java API操作ZooKeeper节点
weixin_34174105的博客
04-26 147
建立客户端与zk服务端的连接 我们先来创建一个普通的maven工程，然后在pom.xml文件中配置zookeeper依赖： <dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeepe...
ZK/zookeeper常规命令 | Watch监控命令的使用 | ACL权限操作 | Four Letter Words四字命令详解 | 配置super超级用户权限 | 总结的很全面，你会喜欢吗
血煞长虹 的专栏
12-08 1万+
文章力求用最精简的语言，全面系统的介绍了zk各种命令的使用，这些命令都很重要，可以不用完全熟记，但是不可不知，温故而知新。 get set 是一些常规操作命令，Watch命令用来监听节点的各种变化（java项目实战用的比较多），nc命令有时候也不可或缺，比如dump命令。 全文根据命令的分类：常规、watch监控、Acl权限、nc四字命令，共分为四大章节。可更加目录，快速定位查看。
apache-zookeeper-3.5.6-bin.tar
最新发布
09-02
ZooKeeper 的 API 包含了 Java 和 C 语言版本，方便不同语言的开发。此外，它还与其他开源项目如 Hadoop、Kafka、HBase 等有紧密集成，这些项目都利用 ZooKeeper 实现了关键的协调和管理功能。 总结来说，Apache ...
twill-zookeeper-0.6.0-incubating-API文档-中英对照版.zip
04-23
标签：apache、zookeeper、twill、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明...
twill-zookeeper-0.6.0-incubating-API文档-中文版.zip
05-02
标签：apache、zookeeper、twill、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请...
5、zookeeper的java -Curator（服务注册与发现）
05-29
这些信息会被序列化并存储在Zookeeper的节点中。 `ServiceProvider`是服务提供者的主要抽象，它负责从多个服务实例中选择一个供消费者使用。Curator内置了三种策略：轮询调度、随机选择和粘性选择。`...
zookeeper一键式安装脚本
10-22
zookeeper一键式安装shell脚本，无需手动搭建集群环境，脚本运行即可自动配置
2.zookeeper常用命令详解
qq_37776015的博客
06-26 359
zkCli.sh客户端连接到ZK服务器的语法为：zkCli.sh -timeout 5000 -r -server ip:port 连接参数解释： -timeout：表示客户端向zk服务器发送心跳的时间间隔，单位为毫秒。因为zk客户端与服务器的连接状态是通过心跳检测来维护的，如果在指定的时间间隔内，zk客户端没有向服务器发送心跳包，服务器则会断开与该客户端的连接。参数5000，表示z...
ZooKeeper学习之内部原理
小小默：进无止境
10-06 876
这里学习Zookeeper的选举机制、节点类型、Stat结构体以及写数据流程。 【1】选举机制 Zookeeper适合安装在奇数台服务器上，集群中半数以上的机器存活，则集群可用。故，又称之为半数机制。 Zookeeper虽然在配置文件中并没有指定Master和Slave，但是Zookeeper集群工作时是有一个节点为leader，其他为follower。leader是通过内部的选举机制临时产生的。...
Zookeeper学习————java API(节点创建、授权、修改、删除、获取节点（子节点）数据、判断节点是否存在)
qq_42513284的博客
07-08 1766
文章目录1.java API1.1.创建连接1.2.新增节点1.2.1.同步创建1.2.2.异步创建1.2.2.只读权限（acl）1.2.3.world授权模式1.2.4.ip授权模式1.2.5.auth授权模式1.2.6.auth授权模式21.2.7.digest授权模式1.3.修改节点1.3.1.同步修改1.3.2.异步修改1.4.删除节点1.4.1.同步删除1.4.2.异步删除1.5.获取节点数据1.5.1.同步获取1.5.2.异步获取1.6.获取子节点数据1.6.1.同步获取1.6.2.异步获取1.
Zookeeper学习之Watcher事件类型和ZK状态
啊呆的博客
09-11 7497
zookeeper：Watcher、ZK状态，事件类型（一） zookeeper有watch事件，是一次性触发的，当watch监视的数据发生变化时，通知设置了该watch的client.即watcher. 同样：其watcher是监听数据发送了某些变化，那就一定会有对应的事件类型和状态类型。 事件类型:(znode节点相关的) EventType:NodeCreated //节点创建 EventType:NodeDataChanged //节点的数据变更
zk特性-理解watch机制
Hubbert_Xu的博客
07-18 1209
watch机制一 针对每个节点的操作，都会有一个监督者 -> watcher 当监控的某个对象（znode）发生了变化，则触发watcher事件 zk中的watcher是一次性的，触发后立即销毁 watch机制二 父结点，子节点 增删改都能触发其watch 针对不同类型的操作，触发的watch事件也不同 （子）节点创建事件 （子）结点删除事件 （子）节点数据变化事件 watcher命令行学习 通过 get path [watch] 设置watche（
Zookeeper的常用Shell操作整理
攻城狮Kevin
11-30 1501
版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/wx1528159409 目录 1. 启动客户端（bin/zkCli.sh） 2. 显示所有的操作命令（help） 3. 查看当前znode中包含的内容（ls） 4. 查看当前znode的详细数据（ls2） 5. 在当前znode下创建普通节点（create） 6. 获取节点的值（ge...
Zookeeper系列一：Zookeeper基础命令操作
热门推荐
郑龙飞
06-03 7万+
有些事不是努力就可以改变的，五十块的人民币设计的再好看，也没有一百块的招人喜欢。 前言 由于公司年底要更换办公地点，所以最近投了一下简历，发现面试官现在很喜欢问dubbo、zookeeper和高并发等。由于公司没有使用dubbo，只知道dubbo是一个远程服务调用的分布式框架，zookeeper为分布式应用程序协调服务。因此，本周查阅资料整理下zookeeper学习笔记。 安...
"Java大数据内容：Zookeeper分布式安装与开发概述及安装部署
这就需要对Zookeeper的API有一定的了解，同时也需要理解Zookeeper的一致性保证机制，了解一些Zookeeper的内部原理。只有这样，才能够更好地利用Zookeeper来解决实际的分布式问题。 总之，Zookeeper在大数据架构中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值