Zookeeper

最新推荐文章于 2024-07-14 21:08:54 发布
最新推荐文章于 2024-07-14 21:08:54 发布
阅读量151 收藏
点赞数 1
文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49057473/article/details/110292329
版权

1、Zookeeper入门

概述

	Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

	Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.

	Zookeeper = 文件系统 + 通知机制

在这里插入图片描述

特点

在这里插入图片描述

1、Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。

2、集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。

3、全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。

4、更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。

5、数据更新原子性，一次数据更新要么成功，要么失败。

6、实时性，在一定时间范围内，Client能读到最新数据。

数据结构

在这里插入图片描述

应用场景

​ 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

统一命名服务：

在这里插入图片描述

统一配置管理：

在这里插入图片描述

统一集群管理：

在这里插入图片描述

服务器动态上下线：

在这里插入图片描述

软负载均衡：在这里插入图片描述

2、操作Zookeeper

命令

#启动Zookeeper
:bin/zkServer.sh start

#查看进程是否启动
:jps

4020 Jps
4001 QuorumPeerMain

#查看状态：
:bin/zkServer.sh status

ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone

#启动客户端：
:bin/zkCli.sh

#显示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help

#查看当前znode中所包含的内容
zk: localhost:2181(CONNECTED) 0] ls /

#查看当前节点详细数据
[zk: localhost:2181(CONNECTED) 1] ls -s /

#创建2个普通节点
[zk: localhost:2181(CONNECTED) 3] create /sanguo "diaochan"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo

#获得节点的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo
diaochan
[zk: localhost:2181(CONNECTED) 6] get -s /sanguo
diaochan

#创建临时节点
[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
#（1）在当前客户端是能查看到的
#（2）退出当前客户端然后再重启客户端
#（3）再次查看根目录下短暂节点已经删除

#创建带序号的节点
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo "caocao"
#如果节点下原来没有子节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。

#修改节点数据值
[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "caopi"

#节点的值变化监听
#（1）在a主机上注册监听/sanguo节点数据变化
[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get -w /sanguo
#（2）在b主机上修改/sanguo节点的数据
[zk: localhost:2181(CONNECTED) 1] set /sanguo "xishi"
#（3）观察a主机收到数据变化的监听
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

#节点的子节点变化监听（路径变化）
#（1）在a主机上注册监听/sanguo节点的子节点变化
[zk: localhost:2181(CONNECTED) 1] ls -w /sanguo
[aa0000000001, server101]
#（2）在b主机/sanguo节点上创建子节点
[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin
#（3）观察a主机收到子节点变化的监听
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

#删除节点
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

#递归删除节点
[zk: localhost:2181(CONNECTED) 15] deleteall /sanguo/shuguo

#查看节点状态
[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1

#退出客户端：
[zk: localhost:2181(CONNECTED) 0] quit

#停止Zookeeper
:bin/zkServer.sh stop

配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒。
#	Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
#	它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

initLimit =10：LF初始通信时限
#	集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

syncLimit =5：LF同步通信时限
#	集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

dataDir：数据文件目录+数据持久化路径
#	主要用于保存Zookeeper中的数据。

clientPort =2181：客户端连接端口
#	监听客户端连接的端口。

3、Zookeeper内部原理

节点类型

在这里插入图片描述

Stat结构体

（1）czxid-创建节点的事务zxid
	每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。
	事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

（2）ctime - znode被创建的毫秒数(从1970年开始)

（3）mzxid - znode最后更新的事务zxid

（4）mtime - znode最后修改的毫秒数(从1970年开始)

（5）pZxid-znode最后更新的子节点zxid

（6）cversion - znode子节点变化号，znode子节点修改次数

（7）dataversion - znode数据变化号

（8）aclVersion - znode访问控制列表的变化号

（9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

（10）dataLength- znode的数据长度

（11）numChildren - znode子节点数量

监听器原理

在这里插入图片描述

选举机制

  • 半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

  • Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

以一个简单的例子来说明整个选举的过程：

​ 假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。
在这里插入图片描述

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的ID比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；

（5）服务器5启动，同4一样当小弟。

写数据流程

在这里插入图片描述

叶落尽天下秋
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zookeeper 3.8.4
05-17
**ZooKeeper 3.8.4：分布式协调服务详解** Apache ZooKeeper 是一个高度可靠的分布式协调服务，广泛应用于大数据、云计算以及微服务等领域的分布式系统中。Zookeeper 3.8.4 版本是该项目的最新稳定版本，提供了一...
zookeeper连接工具
07-05
Zookeeper是一个分布式协调服务，由Apache Hadoop项目开发，广泛应用于大数据生态系统中，如HBase、Kafka等。它提供了一种可靠的方式来管理配置信息、命名服务、分布式同步以及组服务。Zookeeper连接工具则是为了...
ZK zookeeper入门与核心原理
小P聊技术
03-26 195
1 简介 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 ZooKeeper是用于分布式应用程序的分布式，开放源代码协调服务。它公开了一组简单的原语，分布式应用程序可以基于这些原语来实现用于同步，配置维护以及组和命名的更高级别的服务。它的设计易于编程，并使用了按照文件系统熟悉的目录树结构样式设置的数据模型。它以Java运行，并且具有Java和C的绑定。 众所周知，协调服务很难做到。它们特别容易出现诸如比赛条件和死锁之类的错误。ZooKeeper背后的动机是减轻分布式应用
ZooKeeper
学习记录和总结
06-05 1万+
ZooKeeper的概述，单体安装以及分布式安装、客户端操作命令以及Java客户端操作
zookeeper集群
weixin_55609824的博客
07-26 1万+
目录一、Zookeeper定义二、 zookeeper工作机制三、zookeeper特点四、Zookeeper数据结构五、zookeeper应用场景六、/l zookeeper选举机制 一、Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 二、 zookeeper工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zooke
Zookeeper概述
亦翼的博客
08-05 2410
文章目录Zookeeper概述工作机制特点数据结构应用场景统一命名服务统一配置管理服务器节点动态上下线软负载均衡下载地址Zookeeper本地模式安装安装前的准备修改配置相关操作配置参数解读Zookeeper内部原理选举机制节点类型监听器原理数据写入流程 Zookeeper概述 百度百科：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域
ZooKeeper 集群
qq_39144436的博客
03-22 4662
为了保证高可用，最好是以集群形态来部署 ZooKeeper，这样只要集群中大部分机器是可用的（能够容忍一定的机器故障），那么 ZooKeeper 本身仍然是可用的。通常 3 台服务器就可以构成一个 ZooKeeper 集群了。ZooKeeper 官方提供的架构图就是一个 ZooKeeper 集群整体对外提供服务。 上图中每一个 Server 代表一个安装 ZooKeeper 服务的服务器。组成 ZooKeeper 服务的服务器都会在内存中维护当前的服务器状态，并且每台服务器之间都互相保持着通信。集群间
Zookeeper详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-04 1万+
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。它为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper提供一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。
Zookeeper学习笔记
Morning Sunshine的IT技术博客
03-26 4986
1）Zookeeper是什么 zookeeper，它是一个分布式服务框架，是大数据中的重要组件，它是一个具有高吞吐量的分布式协调系统，它的主要作用是为分布式系统提供协调服务，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Dubbo官方推荐使用zookeeoer作为注册中心，注册中心负责服务地址的注册和查找，相当于目录服务。 什么是注册中心？举个简单的例子 ，就像字典目录 ，你要查个字， 找到目录， 然后找到对应的页， 然后字就找到了。 zk也是一个意思，把你要注册的服务给..
zookeeper
yyhzzzzzz的博客
03-29 5345
1.linux下安装完zookeeper之后,进入conf目录编辑zoo.cfg文件,找到dataDir属性更改其路径为zookeeper目录下的zkData文件夹.(因为其默认的目录在Linux下会定清理) (1)进入到zookeeper目录下的bin目录启动zookeeper,使用sh zkServer.sh命令启动zookeeper(或者zkServer.sh start命令启动). (2) 继续在bin目录下使用sh zkCli.sh命令启动zoo...
最新版本zookeeper+dubbo-admin
热门推荐
u013080870的博客
12-04 9万+
下载地址 :https://archive.apache.org/dist/zookeeper/1.去官网下载名字中带有bin的压缩包（就不会出现闪退） 2.将conf目录下zoo_sample.cfg文件重命名为zoo.cfg 3.双击zk.Server.cmd启动程序下载链接：在3.5.5版本后，官方提供了bin的包，可以不需要配置环境，直接上手查看之后以管理员方式启动bin文件夹中的cmd文件会报错，我们需要吧conf里的，zoo_simple复制一份，改成zoo.cofzoo.cfg添加 问题4：出
Zookeeper安装
qq_53862440的博客
11-16 1656
本文介绍了在hadoop环境中配置zookeeper的过程。
zookeeper-3.9.1.zip
12-19
Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着分布式应用程序的运行状态，提供诸如命名服务、配置管理、分布式同步、组服务等分布式基础服务。Zookeeper的设计目标...
zookeeper3.5.5镜像
06-29
zookeeper3.5.5镜像
zookeeper的shell操作
m0_74934794的博客
07-10 850
- 在已有的持久节点/node1中创建持久非顺序子节点/node1/child1 该节点存储的数据"def"-- 在已有的持久节点/node1中创建临时非顺序子节点/node1/child2 该节点存储的数据"def"-- 创建持久顺序节点 节点名称为 /node2_ 该节点中存储的数据为"456"-- 创建临时非顺序节点 节点名称为/node3——tmp 该节点中存储的数据为"789"-- 创建临时顺序节点 节点名称为/node3——tmp 该节点中存储的数据为"789"
分布式服务基于Zookeeper的分布式锁的实现
LQzhang_11的博客
07-11 382
通过以上步骤和代码示例，我们了解了如何利用 ZooKeeper 实现分布式锁。ZooKeeper 提供的顺序节点和 Watche机制为实现高效、可靠的分布式锁提供了强大的支持。这种机制在分布式系统中非常有用，能够有效地协调多个客户端对共享资源的访问。ZooKeeper 的分布式锁机制是一种协调多个客户端访问共享资源的方法。通过使用 ZooKeeper 的持久化节点和临时顺序节点，可以实现高效且可靠的分布式锁。下面是分布式锁的工作原理以及如何使用它的具体步骤。
ZooKeeper实现分布式锁
最新发布
Deep Water Slow
07-14 156
【代码】ZooKeeper实现分布式锁。
zookeeper在哪里能用到
qq_38140936的博客
07-14 617
ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。
zookeeper完整学习笔记
03-28
"这篇文档是关于Zookeeper的全面学习笔记，涵盖了从概念到实践的各个方面，包括Zookeeper的概述、核心术语、分布式应用的优势、Zookeeper的介绍、架构、工作流程、领导者选举、服务安装、命令行接口(CLI)操作、Java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值