kafka原理：zookeeper中的存储结构讲解

最新推荐文章于 2024-05-31 13:44:04 发布
最新推荐文章于 2024-05-31 13:44:04 发布
阅读量479 收藏
点赞数
文章标签： kafka zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kafka_zsxq/article/details/121739825
版权
本文详细介绍了Kafka与Zookeeper的交互，重点解析了Zookeeper中的存储结构，包括集群、控制器、Admin、Brokers等目录下的节点类型及功能。通过理解这些存储结构，可以更好地掌握Kafka的运行机制。欲了解更多信息，可访问提供的链接查看完整内容。
摘要由CSDN通过智能技术生成

在这里插入图片描述

在这里插入图片描述

/cluster

/cluster/id 持久数据节点

集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"version":"1","id":"0"}

/controller_epoch 持久数据节点

Controller选举次数;

/Controller 临时数据节点

当前Controller角色的BrokerId,数据示例: {"version":1,"brokerid":0,"timestamp":"1624415590383"} 删除该节点立马触发重新选举

/log_dir_event_notification

zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点 这个节点在kafka中承担的作用
最低0.47元/天 解锁文章
kafka中文社区
关注
Zookeeper中存储的Kafka信息
congge_study的博客
03-05 7628
Zookeeper中存储的Kafka信息
一图全解Kafka在zookeeper中的数据结构
石臻臻的杂货铺(szzdzhp001)
09-07 1万+
大家好,我是石臻臻,这是 「kafka专栏」 连载中的第「10」篇文章… 首发: 一图全解Kafka在zookeeper中的数据结构 一图知全貌 /cluster /cluster/id 持久数据节点 集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一
apache kafka系列之在zookeeper中存储结构
热门推荐
李志涛的专栏
04-15 3万+
1.topic注册信息 /brokers/topics/[topic] : Schema: { "fields" :     [ {"name": "version", "type": "int", "doc": "version id"},       {"name": "partitions",        "type": {"type": "ma
Kafka（四）Kafka在zookeeper中的存储
weixin_42073629的博客
10-03 280
一 Kafka在zookeeper中存储结构图 二 分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topics/firstTopic Schema: { "version": "版本编号目前固定为数字1", "partitions": {"partitionId编号": [ 同步副本组broker.
kafka在zookeeper中存储结构
zzhongcy的专栏
02-02 547
kafka, zookeeper
kafka+zookeeper
06-28
ZooKeeper则在Kafka中扮演了关键的角色，它是Kafka集群的管理工具，用于存储和管理元数据，例如集群的节点信息、分区分配等。ZooKeeper提供了一种可靠的分布式协调机制，使得Kafka能够实现领导者选举、集群成员管理...
KafkaConnect：配置管理深度解析
最新发布
AI架构设计之禅
05-31 488
KafkaConnect：配置管理深度解析 1.背景介绍 1.1 Kafka简介 Apache Kafka是一个分布式流处理平台，它被广泛应用于大数据领域。Kafka具有高吞吐量、低延迟、高可伸缩性和持久性等优点,因此被视为构建实时
kafka原理与起步使用 （+zookeeper）
weixin_40366684的博客
05-21 659
kafka原理与起步使用 （+zookeeper） https://www.jianshu.com/p/d3e963ff8b70 https://blog.csdn.net/java_66666/article/details/81015302 http://kafka.apachecn.org/quickstart.html https://blog.csdn.net/liyiming2017/article/details/83035157 https://www.cnblogs.com/ultranm
kafka原理_Zookeeper与Kafka基础概念和原理
weixin_39740419的博客
11-24 161
1、zookeeper概念介绍　　在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争(脑裂)的后果。　　这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分...
kafka在zk中的存储结构
11-25 627
视频讲解的URL：http://edu.51cto.com/course/course_id-2461.html 涉及到的相关项目为 kafka 0.8.1.1 zookeeper 3.3.6 环境下面的存储的结构 图片中描述了kafka在zk中的存储结构，以及存储的相关数据，绿色代表的是zk的临时节点，当对应的进程退出后，此临时的znode将自动删除。由于consume
Kafka在Zookeeper存储结构
数据工匠记
03-17 1700
在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（Kafka Raft）模式，逐步去除对zookeeper的依赖（依然兼容）。在zookeeper中存储了很多kafka元数据信息, 例如 「Broker的注册信息」、「Topic的信息」 、 「运维操作临时信息 」、 「配置信息」等等其他信息。 /brokers/topics/[topic]： 存储某个topic的partitions所有分配信息 { "version": "版本编号目前固定为数字.
云存储技术-Zookeeper集群的安装
qq_41082689的博客
04-19 231
云存储技术 实验目的要求： 1、掌握在完全分布模式的整合平台中Zookeeper的安全分布模式的安装 2、完成Zookeeper的完全分布模式的安装 3、Zookeeper服务能够正常启动和连接 4、Zookeeper控制台能够正常进入 5、Zookeeper控制台命令能够正常使用 实验环境 ： 1、五台独立PC机或虚拟机 2、主机之间有有效的网络连接 3、每台主机内存2G以上，磁盘剩余空间50...
KafKa在ZooKeeper上的存储结构
夏天小厨的博客
10-25 1787
KafKa在ZooKeeper上的存储结构 首先 我们先了解一下kafka在zookeeper上的文件结构，进入一台zookeeper主机，输入命令 bin/zkCli.sh  进入交互模式，ls出zk的根目录，如下图 KafKa在ZooKeeper上的文件结构 这篇文章我们分析一下上图中除了zookeeper的其他文件夹对于kafka来说都是什么含义。 zk-root根目录包含6个k...
Kafka的存储详解
Tattoo的博客
02-22 837
文章目录我的疑问：为什么要对主题进行分区 ?Kfaka的备副本为什么不提供读取功能？如何选主的？生产者设置的应答值等于 -1 ，服务端必须等待 ISR 所有副本都同步完消息，才会发送生产结果给 生产者。 消费者或备份副本设置的最小拉取大小等于l字节，服务端必须至少读取到l字节的消息，才 会发送拉取结果给消费者或备份副本。日志的读写分区、副本、日志、日志分段写入日志延迟操作控制器控制器选举 我的疑问： 为什么要对主题进行分区 ? 为什么要对主题进行分区 ?如果消息没有分区，所有的消息就只能存储到一个节，或上
kafka 重新分配节点_浅谈ZooKeeper中Kafka相关信息的存储
weixin_35936191的博客
01-02 154
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！ZooKeeper是应用甚为广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HDFS、YARN、HBase、Kafka等等，都扮演着基础角色。本文简单描述一下ZK如何存储与Kafka相关的信息。在kafka.utils.ZkUtils对象的开头，预先定义了很多ZK路径，列举如下。 val...
kafka在ZK中存存储节点及作用
Awnger的博客
09-12 1131
kafka集群依赖于ZOOKEEPER，了解kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，zookeeper在kafka中扮演了举足轻重的作用(0.9版本后offest不放在zk上,由kafka内部topic自己保存),kakfa的 broker,消费者等相关的信息都存在zk的节点上,zk还提供了对kafka的动态负载均衡等机制，以下是我的测试环境ZK截取目录...
浅谈zk(6).zookeeper内部存储结构
08-06 814
存储结构 采用树形目录结构，把它想象为windows 资源管理器就可以了。 每个节点上面有元信息，如创建时间、数据信息、数据长度、修改时间等。 和windows资源管理器一样，树上的节点可以是文件也可以目录。 特点 每个目录或文件节点上面都有ACL 通过ACL可以设定权限访问 对每个目录或文件节点的操作具有原子性 每次对节点进行操作，节点中的版本号将增加
zookeeper 跟kafka 之间的具体存储结构
qq_35869630的博客
04-06 1695
zookeeper 跟kafka 之间的具体存储结构 ** zookeeper到底存储了kafka的什么东西？ 1、kafka依赖zookeeper对集群进行管理，zookeeper存储kafka 各个sever（broker）的信息，当kafka各个节点的信息发生改变能够及时进行通知处理。 2、kafka的topic信息是存储在zookeeper上的，zookeeper上只存储topic的配置信...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值