zookeeper-day01

最新推荐文章于 2023-09-01 14:24:46 发布
最新推荐文章于 2023-09-01 14:24:46 发布
阅读量131 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hello_world2019g/article/details/107148691
版权

Zookeeper

1、Zookeeper概念

  • Zookeeper是Apache Hadoop项目下的一个子项目，是一个树形目录结构（后面操作时讲解树形目录结构）。Apache是一个基金组织，它里面的项目都是免费开源的。Hadoop是大数据的一个框架。Zookeeper是Hadoop的一个子项目，它和大数据的结合比较紧密。Java中的一些框架也依赖于Zookeeper来实现，比如Dubbo就将Zookeeper作为注册中心来使用。
  • Zookeeper翻译过来就是动物园管理员。用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）。简称zk。
  • Zookeeper是一个分布式的、开源的分布式应用程序的协调服务（管理别的东西）。
  • Zookeeper提供的主要功能包括：
    • 配置管理：作为配置中心来使用。多个应用程序把共有的配置信息，放在一个配置中心里面统一管理。
    • 分布式锁：作为分布式锁提供的组件来使用。期望数据在同一时间只被一个应用程序访问，就要加锁。这时，如果另一个应用程序来访问数据，此时，A加的锁并不对B生效，此时数据就被两个服务访问到。引入第三方锁——分布式锁。访问数据时就要去分布式锁那里拿锁。Zookeeper可以作为一种分布式锁来使用。
    • 集群管理：作为注册中心来使用。provider（服务提供方）先把自己的地址告诉注册中心，consumer（服务消费方）想访问provider时，先去注册中心获取provider的地址然后进行RPC的远程调用。

2、Zookeeper安装与配置

  • 安装：Dubbo中已经讲解

  • 配置：

    • 打开虚拟机
    [root@localhost ~]# cd /opt
[root@localhost opt]# ll
drwxr-xr-x. 4 root root 95 7月   4 11:40 zookeeper
[root@localhost opt]# cd zookeeper/
[root@localhost zookeeper]# ll
drwxr-xr-x. 7 root    root        146 7月   4 11:49 apache-zookeeper-3.5.6-bin (zookeeper的安装目录)
drwxr-xr-x. 3 root    root         23 7月   5 13:56 zkdata	(zookeeper的数据目录)
[root@localhost zookeeper]# cd apache-zookeeper-3.5.6-bin/
[root@localhost apache-zookeeper-3.5.6-bin]# ll
[root@localhost apache-zookeeper-3.5.6-bin]# cd bin/
[root@localhost bin]# ll
-rwxr-xr-x. 1 gubowen gubowen 1621 10月  9 2019 zkCli.sh（zookeeper的客户端）
-rwxr-xr-x. 1 gubowen gubowen 9386 10月  9 2019 zkServer.sh（zookeeper的服务端）
（如果我们要操作zookeeper，就是我们要对zookeeper里面的数据进行改造，有两种方式：一是客户端和服务端连接一下；二是可以写代码。配置管理和集群管理一般不需要我们写代码来操作，一些框架都已经整合它了。以后写分布式锁可能需要编码来实现，就需要掌握客户端命令的操作和Java代码API的操作）
[root@localhost bin]# ./zkServer.sh start （启动zookeeper）
Starting zookeeper ... STARTED
[root@localhost bin]# ./zkServer.sh status
Mode: standalone （此时zookeeper是单节点的，没有搭建集群的方式）
（启动完毕）

3、Zookeeper操作

  • 命令操作，通过命令行的方式发送命令来操作zk的服务端
  • 代码操作：JavaAPI写代码来操作zk的服务端
  • Zookeeper Client 和 Zookeeper Java API 都被称为客户端，都可以连接上Zookeeper Server 来完成对应的操作

3.1、Zookeeper命令操作

3.1.1、Zookeeper的数据模型
  • 先了解zk的结构，再学习命令
  • Zookeeper是一个树形目录服务，其数据模型和Unix（Linux）的文件系统目录树很类似，（Unix是目录，zk是节点），拥有一个层次化结构。节点非常重要，操作其实就是操作节点。
    • 根节点的目录是一个（/），它的path是一个（/）
    • 下面有子节点（/app1）和（/app2）
    • 下面还有子节点（/app1/p_1）…
  • 这里面的每一个节点都被称为：ZNode，每个节点上都会保存自己的数据和节点信息
  • 节点可以拥有子节点。同时也允许少量（1MB）数据存储在该节点之下。（可以当目录来用，也可以当文件来用）
  • 节点可分为四大类：（牢记 -e -s 这两个参数）
    • PERSISTENT 持久化节点（节点创建后，即使zk客户端断开连接，服务端关闭，该节点依然存在）
    • EPHEMERAL 临时节点：-e（zk客户端和zk服务端创建连接之后创建该节点，当客户端断开连接之后（？客户端断开连接和关闭客户端是一个意思吗。是的），该节点便被销毁。该节点只在当前的会话中有效）
    • PERSISTENT_SEQUENTIAL 持久化顺序节点：-s（创建顺序节点会在节点后面添加数字编号）
    • EPHEMERAL_SEQUENTIAL 临时顺序节点：-es （临时的顺序节点）

小节：zk就是一种树形结构，每一个点被称为节点，可以存数据，也可以有子节点。节点可以是：顺序的，非顺序的，临时的或持久的。

3.1.2、服务端常用命令
  • 启动Zookeeper服务：./zkServer.sh start
  • 查看Zookeeper服务状态：./zkServer.sh status
  • 停止Zookeeper服务：./zkServer.sh stop
  • 重启Zookeeper服务：./zkServer.sh restart
3.1.2、客户端常用命令（重要）
1、CRUD
  • Client要知道Server在哪，连接之后操作节点，节点的操作和数据的操作一样：CRUD。
（右键克隆一个会话，切换到root家目录）
[gubowen@localhost ~]$ su root
[root@localhost gubowen]# cd /
[root@localhost /]# cd ~
(服务端pwd一下，得到bin的路径)
[root@localhost bin]# pwd
/opt/zookeeper/apache-zookeeper-3.5.6-bin/bin
（回到客户端命令窗口）
[root@localhost ~]# cd /opt/zookeeper/apache-zookeeper-3.5.6-bin/bin
[root@localhost bin]# ll
（指定zk的server在哪，以及主机IP和zkServer端口号）
[root@localhost bin]# ./zkCli.sh -server localhost:2181
[zk: localhost:2181(CONNECTED) 0] （连接成功）
[zk: localhost:2181(CONNECTED) 0] quit （退出连接）
[root@localhost bin]# ./zkCli.sh （连接本机Sever）

（ls 查看当前节点下的子节点）
[zk: localhost:2181(CONNECTED) 0] ls / （查看根节点）
[dubbo, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /dubbo （查看dubbo节点）
[com.itheima.service.UserService]

（创建节点 create /节点 数据）
[zk: localhost:2181(CONNECTED) 2] ls / （返回根节点）
[dubbo, zookeeper]
[zk: localhost:2181(CONNECTED) 3] create /app1 itheima
Created /app1
[zk: localhost:2181(CONNECTED) 4] ls /
[app1, dubbo, zookeeper]

（获取节点中数据的命令 get /节点）
[zk: localhost:2181(CONNECTED) 7] get /app1
itheima
[zk: localhost:2181(CONNECTED) 8] get /app2
null
（设置节点中数据 set /节点）
[zk: localhost:2181(CONNECTED) 9] set /app2 itcast
[zk: localhost:2181(CONNECTED) 10] get /app2
itcast

（删除节点）
[zk: localhost:2181(CONNECTED) 11] delete /app2
[zk: localhost:2181(CONNECTED) 12] ls /
[app1, dubbo, zookeeper]

（节点不可重复）
[zk: localhost:2181(CONNECTED) 13] create /app2
Created /app2
[zk: localhost:2181(CONNECTED) 14] create /app2
Node already exists: /app2

（创建子节点）
[zk: localhost:2181(CONNECTED) 15] create /app2/p1
Created /app2/p1
[zk: localhost:2181(CONNECTED) 16] create /app2/p2
Created /app2/p2
[zk: localhost:2181(CONNECTED) 17] ls /app2
[p1, p2]

（删除单节点）
[zk: localhost:2181(CONNECTED) 18] delete /app2/p1
[zk: localhost:2181(CONNECTED) 19] ls /app2
[p2]
（有子节点存在不可删除父节点）
[zk: localhost:2181(CONNECTED) 20] delete /app2
Node not empty: /app2
（删除全部可删除含有子节点的父节点）
[zk: localhost:2181(CONNECTED) 21] deleteall /app2
[zk: localhost:2181(CONNECTED) 22] ls /
[app1, dubbo, zookeeper]

（help 帮助命令）
2、-e -s
  • 前面创建的节点都是持久化节点
  • -e 临时节点
（create -e /节点 ——创建临时节点）
[zk: localhost:2181(CONNECTED) 25] create -e /app2
Created /app2
[zk: localhost:2181(CONNECTED) 26] ls /
[app1, app2, dubbo, zookeeper]

（关闭会话之后再连接server查看/）
[zk: localhost:2181(CONNECTED) 27] quit
[root@localhost bin]# ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[app1, dubbo, zookeeper]
  • -s 顺序节点
    • 所有节点共用同一套编号（看最后代码）
[zk: localhost:2181(CONNECTED) 1] create -s /app2
Created /app20000000005
[zk: localhost:2181(CONNECTED) 2] create -s /app2
Created /app20000000006
[zk: localhost:2181(CONNECTED) 3] create /app1
Node already exists: /app1
[zk: localhost:2181(CONNECTED) 4] ls /
[app1, app20000000005, app20000000006, dubbo, zookeeper]
[zk: localhost:2181(CONNECTED) 5] create -s /app1
Created /app10000000007
[zk: localhost:2181(CONNECTED) 6] ls /
[app1, app10000000007, app20000000005, app20000000006, dubbo, zookeeper]
  • -es 临时顺序节点
[zk: localhost:2181(CONNECTED) 7] create -es /app3
Created /app30000000008
[zk: localhost:2181(CONNECTED) 8] create -es /app3
Created /app30000000009
[zk: localhost:2181(CONNECTED) 9] ls /
[app1, app10000000007, app20000000005, app20000000006, app30000000008, app30000000009, dubbo, zookeeper]

[zk: localhost:2181(CONNECTED) 10] quit
[root@localhost bin]# ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[app1, app10000000007, app20000000005, app20000000006, dubbo, zookeeper]
3、ls2
  • xxxid后面搭建集群时会使用
[zk: localhost:2181(CONNECTED) 1] ls2 /
'ls2' has been deprecated. Please use 'ls [-s] path' instead.（li2 已被淘汰，建议使用ls -s path代替）
[zookeeper, app20000000005, app20000000006, dubbo, app10000000007, app1]
cZxid = 0x0 （事务id）
ctime = Thu Jan 01 08:00:00 CST 1970 （创建时间）
mZxid = 0x0 （最后一次的id）
mtime = Thu Jan 01 08:00:00 CST 1970 （修改时间 modify）
pZxid = 0x44
cversion = 14 （创建版本号，每次修改之后加一）
dataVersion = 0 (数据版本号)
aclVersion = 0 (权限版本号)
ephemeralOwner = 0x0 （临时状态，不是临时就是0，十六进制的数的表示方式）
dataLength = 0 （数据长度 /下没数据）
numChildren = 6 （子节点个数）

[zk: localhost:2181(CONNECTED) 2] ls -s /

（查看dubbo下面的子节点的内容）
[zk: localhost:2181(CONNECTED) 5] ls /dubbo/com.itheima.service.UserService
[configurators, consumers, providers, routers]
[zk: localhost:2181(CONNECTED) 6] get /dubbo/com.itheima.service.UserService/providers
192.168.111.1
（服务方的IP地址存在了这个节点中，消费方通过providers的服务名称找到对应的地址，完成地址的远程调用）
hello_world2019g
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
08-zookeeper
05-14
《深入理解Zookeeper：分布式协调服务详解》 Zookeeper，作为一个分布式的、开放源码的分布式应用程序协调服务，是Apache ...通过学习day49-zookeeper的相关内容，你可以更全面地理解Zookeeper的工作原理和应用实践。
Hadoop日记Day20---Zookeeper系列（一）
03-03
ZooKeeper---译名为“动物园管理员”。动物园里当然有好多的动物，游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物，而不是像走在原始丛林里，心惊胆颤的被动物所观赏。为了让各种不同的动物呆在它们...
Zookeeper-day01-简单介绍
AlphaG的博客
10-27 136
1：概念 Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的Apache 项目。 2：工作机制 3：特点 4：数据结构 ZooKeeper 数据模型的结构与Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode 默认能够存储1MB 的数据，每个ZNode 都可以通过其路径唯一标识。 5：应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等...
Zookeeper--Day3
IT小浪
08-09 316
一：ZooKeeper的简介 1：什么是ZooKeeper ZooKeeper是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现达成共识/集群管理/leader选举等。 ZooKeeper是一个高可用的分布式管理与协调框架，基于ZAB算法（原子消息广播协议）的实现。该框架能够很好地保证分布式环境中...
Zookeeper-day02-集群操作
AlphaG的博客
10-28 119
1：集群安装 1.1：集群规划：在hadoop102、hadoop103、hadoop104三个节点上部署zookeeper 1.2：解压安装 1.2.1：在hadoop102解压zookeeper安装包到/opt/module目录下 [atguigu@hadoop102 software]$ tar zxvf apache zookeeper 3.5.7 bin.tar.gz C /opt/module/ ...
Zookeeper-day04-客户端向服务端写数据原理
AlphaG的博客
11-02 74
1：客户端访问：写流程之请求直接发送给Leader节点。 write是写请求，ack是写完之后的通知，如果超过半数写完，就可以反馈给客户端。这样快速反馈是提高效率。 2：客户端访问：写流程之请求发送给follower节点 fowwler没有写权限，所以先发送写请求，leader允许写，同时leader也会写，follower写完之后反馈，超过半数，leader由follower反馈给client. ...
Zookeeper-day04-分布式锁案例
AlphaG的博客
11-02 98
1：什么是分布式锁 比如说"进程 1"在使用该资源的时候，会先去获得锁，"进程 1"获得锁以后会对该资源保持独占，这样其他进程就无法访问该资源，"进程1"用完该资源以后就将锁释放掉，让其他进程来获得锁，那么通过这个锁机制，我们就能保证了分布式系统中多个进程能够有序的访问该临界资源。那么我们把这个分布式环境下的这个锁叫作分布式锁。 2：案例分析 3：代码实现 package com.atguigu.case2; import org.apache.zookeeper.*; i...
Zookeeper-day03-API代码操作
AlphaG的博客
11-01 88
1：添加pom文件内容 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency>
Zookeeper-day03-客户端命令行操作
AlphaG的博客
11-01 149
一：zookeeper客户端命令行操作 1：开启客户端zookeeper 2：显示所有操作命令：help 3：查看当前znode中所包含的数据 4：查看当前节点详细数据 1 ：czxid 创建节点的事务 zxid 每次修改，ZooKeeper状态都会 产生一个 ZooKeeper事务 ID。事务 ID是 ZooKeeper中所有修改总的次序。每 次 修改都有唯一的 zxid，如果 ...
Zookeeper学习笔记-day01
小李的博客
07-19 149
入门简介 1. Zookeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 从设计模式来理解 Zookeeper是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家
06-zookeeper---1
qq_43819048的博客
09-01 112
1、理论Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序。YARN被引入Hadoop2,最初是为了改善MapReduce的实现，但是因为具有足够的通用性，同样可以支持其他的分布式计算模式，比如Spark，Tez等计算框架。大数据技术大致分为四代：1、MapReduce （淘汰）
Hadoop-2.8.0-Day06-Zookeeper详解-课件与资料.zip
04-30
《Hadoop-2.8.0-Day06-Zookeeper详解》是针对大数据处理框架Hadoop中的关键组件Zookeeper的一次深入解析。这个压缩包包含了相关的课件与资料，旨在帮助学习者全面理解Zookeeper在Hadoop生态系统中的角色、功能以及...
Hadoop日记Day20---ZooKeeper系列（三）
02-26
前面虽然配置了集群模式的Zookeeper，但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令，用来获取Zookeeper服务的当前...
udp分片报文pcap文件
07-18
udp分片报文pcap文件：64kudp大包分成每片658字节总计100片
计算机教学导案.doc
07-18
计算机
摩根：2024年大市前瞻.pdf
最新发布
07-18
摩根：2024年大市前瞻
计算机控制专业技术专题实习任务书温度控制.doc
07-18
计算机
计算机控制系统.doc
07-18
计算机
zookeeper3.7.1适配以下哪个包：zookeeper-3.4.5-cdh6.1.0 zookeeper-3.4.5-mapr-1710 zookeeper-3.4.6.3.0.0.0-1634 zookeeper-3.4.10
07-27
对于ZooKeeper 3.7.1版本，适配的包应该是 `zookeeper-3.4.10`。 `zookeeper-3.4.5-cdh6.1.0` 是针对Cloudera发行版CDH 6.1.0的适配包。 `zookeeper-3.4.5-mapr-1710` 是针对MapR发行版版本1710的适配包。 `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值