Kafka在zookeeper中的数据结构

最新推荐文章于 2024-08-16 23:33:13 发布
最新推荐文章于 2024-08-16 23:33:13 发布
阅读量825 收藏
点赞数
分类专栏： kafka 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengqiuming/article/details/79079573
版权
本文介绍了Kafka集群中brokers及consumers的配置详情，包括topics的管理、消费者组的状态跟踪以及主题配置等关键信息。同时展示了如何通过监控路径了解broker节点状态、消费者消费情况及主题偏移量。
摘要由CSDN通过智能技术生成
一 /brokers节点
/brokers
/brokers/topics
/brokers/topics/test2
/brokers/topics/test2/partitions
/brokers/topics/test2/partitions/0
/brokers/topics/test2/partitions/0/state 的值为...
/brokers/ids
/brokers/ids/202
/brokers/ids/203
/brokers/ids/204
/brokers/ids/202 的值为...
/brokers/seqid的值为null

二 /consumers节点
/consumers
/consumers/console-consumer-75113/ids
                         消费者组                                 该组下的消费者
/consumers/console-consumer-75113/ids/console-consumer-75113_s2013e 的值为{“version":1,“subscription”:{test2},...}
                                                               消费的主题
/consumers/console-consumer-75113/owners
/consumers/console-consumer-75113/owners/test2
/consumers/console-consumer-75113/owners/test2/0的值为console-consumer-75113_s2013e
                        消费者组                          偏移量  主题  分区     值
/consumers/console-consumer-75113/offsets/test2/0的值为0

三 其他节点
/controller的值为{“version":1,“brokerid":202}

删除的主题
/admin/delete_topics/test 的值为null

配置的主题
/config/topics/test
/config/topics/test2的值为{"version":1,"config":{}}
/config/changes的值为null
/config/clients的值为null



chengqiuming
关注
专栏目录
一图全解Kafka在zookeeper中的数据结构
石臻臻的杂货铺(szzdzhp001)
09-07 1万+
大家好,我是石臻臻,这是 「kafka专栏」 连载中的第「10」篇文章… 首发: 一图全解Kafka在zookeeper中的数据结构 一图知全貌 /cluster /cluster/id 持久数据节点 集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一
Kafka 之 ZooKeeper —— 稳定版本、弃用、操作
流华追梦的专栏
06-07 1706
ZooKeeper 是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。Kafka 集群依赖于 ZooKeeper 来存储和管理 Kafka 的元数据信息和配置信息。注：以上这些都低版本 Kafka 依赖 ZooKeeper 实现的，在高版本 Kafka 中，已经摆脱了对 ZooKeeper 的强依赖。
Kafka在zookeeper里面的存储结构详解
u010020099的专栏
09-03 2829
  当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。 一、zookeeper存储结构总图 1.根目录下的结构 [zk: localhost:2181(CONNECTED) 72] ls / [isr_change_notification, zookeeper, admin, consumers, cluster, config...
Zookeeper数据结构与集群架构详解
最新发布
qq_45061342的博客
08-16 1320
ZooKeeper 是一个开源的分布式协调框架，是Apache Hadoop 的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。ZooKeeper本质上是一个分布式的小文件存储系统（Zookeeper=文件系统+监听机制）。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控存储的数据的状态变化。
zookeeper 与 kafka的协同工作
jansony1的博客
05-31 656
down voteaccepted First of all, zookeeper is needed only for high level consumer. SimpleConsumer does not require zookeeper to work. The main reason zookeeper is needed for a high level
Zookeeper 里 Kafka 的文件结构
changtianshuiyue的专栏
03-30 629
https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+ZookeeperKafka data structures in Zookeeperkafka 使用 zk 来做 HA。有很多集群管理的元数据是保存在 zk 的 data folder 里面。理解这个结构有助于深入理解 kafka 整个架构的设计和...
kafka架构之zookeeper元数据管理
上好佳的博客
05-30 4065
kafka是如何通过zookeeper进行元数据的管理的呢？首先我们来看一下安装好一个kafka集群之后，对应zookeeper会出现哪些目录？概括为一A一B四个C，如下图：首先在zookeeper的根目录下面会出现以下目录：admin    ----/admin/delete_topics：存放被删除的topicbrokers    ----ids：当前存活的节点    ----topics：当...
KafKa在ZooKeeper上的存储结构
夏天小厨的博客
10-25 1787
KafKa在ZooKeeper上的存储结构 首先 我们先了解一下kafka在zookeeper上的文件结构，进入一台zookeeper主机，输入命令 bin/zkCli.sh  进入交互模式，ls出zk的根目录，如下图 KafKa在ZooKeeper上的文件结构 这篇文章我们分析一下上图中除了zookeeper的其他文件夹对于kafka来说都是什么含义。 zk-root根目录包含6个k...
kafka集群元数据在zookeeper中的存储分布
weichuangxxb的博客
06-21 1624
我们都知道，自从 Kafka 诞生之际，就一直使用 Zookeeper 服务来进行 kafka 集群的元数据和状态管理，虽然在 KIP-500 中有提议未来将移除 Zookeeper 的依赖，使用 Raft 协议来实现新的元数据和状态管理，但在这之前，我们仍然需要对 kafka 集群的整个元数据和状态有一定理解，才能更好的维护和保障 kafka 集群。 前言 在 kafka 集群中，ZooKeeper 集群用于存放集群元数据、成员管理、Controller 选举，以及其他一些管理类任务。 存放元...
kafka 和Zookeeper 集群架构设计对比分析
将臣三代的博客
06-24 783
Kafka 和 Zookeeper 在集群架构设计上的差异源于它们不同的设计目标和应用场景。Kafka 专注于高效的消息传输和存储，通过分区和副本机制实现高吞吐量和高可用性；而 Zookeeper 则专注于分布式系统的协调和配置管理，通过 Leader 选举和多数派机制保证数据一致性和高可用性。理解这两者的架构设计，有助于在构建分布式系统时更好地利用它们各自的优势。
kafka在zookeeper中的存储结构
hw120219的博客
07-04 531
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表 ], "partit...
Kafka深度讲解+Zookeeper存储
zhuhailong
10-29 1241
Kafka 深度讲解 + Zookeeper元数据存储
kafka在zk中的存储结构
11-25 627
视频讲解的URL：http://edu.51cto.com/course/course_id-2461.html 涉及到的相关项目为 kafka 0.8.1.1 zookeeper 3.3.6 环境下面的存储的结构 图片中描述了kafka在zk中的存储结构，以及存储的相关数据，绿色代表的是zk的临时节点，当对应的进程退出后，此临时的znode将自动删除。由于consume
kafka底层架构
Hello World
02-12 1712
1. 存储架构 1.1 分段存储 kafka每个主题可以有多个分区，每个分区在它所在的broker上创建一个文件夹。 每个分区又分为多个段，每个段有两个文件，log文件里顺序存消息，index文件里存消息的索引。 段的命名直接以当前段的第一条消息的offset为名。 注意是偏移量，不是序号！ 第几条消息 = 偏移量 + 1。类似数组长度和下标。 所以offset从0开始（可以开新队列新groupid消费第一条消息打印offset得到验证） 例如： 1.2 日志索引 每个log文件配备一个索引文件 *
Kafka消费者、Zookeeper管理kafka元数据总结
gaofeng的博客
04-15 1866
kafka的消费者以pull的方式拉取消息 —————————————————————————————————— 创建消费者时，若不指定group.id,则该消费者属于默认消费组 —————————————————————————————————— group.id全局唯一 —————————————————————————————————— 同一个消费组下的消费者在消费消息时是互斥的 —————...
Kafka3.x核心速查手册三、服务端原理篇-1、Zookeeper整体数据
roykingw的专栏
09-16 772
​ 这一部分主要是理解Kafka的服务端重要原理。但是Kafak为了保证高吞吐，高性能，很多具体实现都是相当复杂的。如果直接跳进去学习研究，很快就会晕头转向。所以，找一个简单清晰的主线就显得尤为重要。这一部分主要是从存储的角度来理解Kafka的Broker运行机制。这对于上一章节建立的简单模型，是一个很好的细节补充。​ Kafka依赖很多的存储数据，但是，总体上是有划分的。Kafka会将每个服务的不同之处，也就是状态信息，保存到Zookeeper中。
Kafka介绍和架构、结合zookeeper集群部署
weixin_46837396的博客
08-17 541
一、Kafka介绍和架构 1.1介绍 Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）， 常见可以用于访问日志，消息服务等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目 主要应用场景是：日志收集系统和消息系统 Kafka是基于消息发布-订阅模式实现的消息系统，其主要涉及有以下特点： 1 消息持久化：以时间复杂度为O(1)的方式提供消息持久能力 虽然Kafka的持久化在一定程度上来说比较依赖磁盘的性能，但是Kaf
【Kafka从入门到成神系列 一】Kafka基本概述和架构
爱敲代码的小黄
03-07 1161
👏作者简介：大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。 📝个人公众号：爱敲代码的小黄 📕系列专栏：Java设计模式、数据结构和算法 📧如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步👀 🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦 🍂博主正在努力完成2022计划中：以梦为马，扬帆起航，2022追梦人 文章目录一、消息引擎系统1. 作用2. 传输方法二、Kafka术语1. 常见术语2. Kafka 的三层消息架构3. kakfa Bro..
Kafka与Zookeeper集群部署教程及压缩包下载
在Kafka中，ZooKeeper用于管理和服务发现。每个Kafka Broker（服务器）会与ZooKeeper集群通信，来注册自己的状态信息并同步其他Broker的信息。这样，Kafka集群就能动态地知道当前有多少活跃的Broker，分区分布在哪些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值