zookeeper 跟kafka 之间的具体存储结构

最新推荐文章于 2023-04-11 15:38:59 发布
最新推荐文章于 2023-04-11 15:38:59 发布
阅读量1.6k 收藏 1
点赞数 1
文章标签： kafka 大数据 zookeeper 数据架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35869630/article/details/105343340
版权
本文探讨了Zookeeper在Kafka集群管理中的作用，详细解析了Zookeeper如何存储Kafka的broker信息、topic配置以及消费者消费状态。旧版Kafka中，消费者offset存储在Zookeeper，而新版则使用bootstrap-server，降低了对Zookeeper的依赖，提升了消费效率。
摘要由CSDN通过智能技术生成

zookeeper 跟kafka 之间的具体存储结构

**

zookeeper到底存储了kafka的什么东西？

1、kafka依赖zookeeper对集群进行管理，zookeeper存储kafka 各个sever（broker）的信息，当kafka各个节点的信息发生改变能够及时进行通知处理。
2、kafka的topic信息是存储在zookeeper上的，zookeeper上只存储topic的配置信息

在这里插入图片描述

这里创建了一个名为second的topic，有2个分区，3个副本，两个分区分别对应存储的broker id，并且可以看到对应分区的leader。
topic具体数据是存储在logs下面的.log文件
3、kafka 的消费者消费过程需要依赖zookeeper
旧版的kafka整个消费者都是依赖于zookeeper的，zookeeper上存储着kafka对应数据的offset

最低0.47元/天 解锁文章
一只前进的蚂蚁
关注
Zookeeper中存储的Kafka信息
congge_study的博客
03-05 7611
Zookeeper中存储的Kafka信息
Kafka 在zookeeper中的节点结构、日志结构
qq_26182553的博客
07-13 824
登录zookeeper zkCli.sh -server centos1:2181   创建topics mytopic kafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181 --replication-factor 3 --partitions 2 --topic mytopic   z
kafka在zookeeper中存储结构
weixin_30872671的博客
07-07 205
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表...
Kafka学习之路 （五）Kafka在zookeeper中的存储
sam19911的博客
05-04 212
目录 一、Kafka在zookeeper中存储结构图 二、分析 2.1　topic注册信息 2.2　partition状态信息 2.3　Broker注册信息 2.4　Controller epoch 2.5　Controller注册信息 2.6　补充Consumer and Consumer group 2.7　Consumer均衡算法 2.8　Consumer注...
kafka在zookeeper中一些存储结构
Kevin.yang专栏
04-08 8465
本文主要查看kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，其测试环境如下：kafka 0.8.1.1 zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息，该节点为一个临时节点，当当broker断开和zookeeper的连接时，其临时节点将会被删除。其路径为: /broker
Zookeeper与kafka
asdfg___xiaobai的博客
12-12 687
当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka kafka的特性：①高并发 ②可扩展性 ③持久性，可靠性 ④ 容错性 ⑤ 高吞吐量，低延迟
spring+zookeeper+kafka
09-22
在Spring与Zookeeper的整合中，我们可以利用Zookeeper的节点树结构来存储和管理配置信息，实现服务的注册与发现。Spring Cloud Zookeeper就是这样一个框架，它提供了Spring Boot应用与Zookeeper的集成，使得应用能够...
zookeeper + kafka集群搭建详解
最新发布
shanjun12的博客
04-11 948
zookeeper + kafka集群搭建详解
zookeeper和kafka
abjava1的博客
02-05 1225
目录 一、zookeeper理论 1、zookeeper定义 2、zookeeper工作机制 3、zookeeper特点 4、zookeeper的数据结构 5、zookeeper应用场景 6、zookeeper的选举机制 6.1 第一次启动时选举机制 6.2非第一次启动时选举机制 二、部署Zookeeper 集群 1、环境准备 2、安装zookeeper 2.1 安装zookeeper 软件包 2.2 修改配置文件 3、每个节点上创建数据目录和日志目录 4、在每个节点的d
Kafka学习之六 zookeeper存储结构总图
技术人宝哥
03-20 1038
zookeeper存储结构总图
Kafka在Zookeeper存储结构
数据工匠记
03-17 1686
在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（Kafka Raft）模式，逐步去除对zookeeper的依赖（依然兼容）。在zookeeper中存储了很多kafka元数据信息, 例如 「Broker的注册信息」、「Topic的信息」 、 「运维操作临时信息 」、 「配置信息」等等其他信息。 /brokers/topics/[topic]： 存储某个topic的partitions所有分配信息 { "version": "版本编号目前固定为数字.
kafka原理：zookeeper中的存储结构讲解
kafka_zsxq的博客
12-06 460
在这里插入图片描述 /cluster /cluster/id 持久数据节点 集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"versio...
Kafka在Zookeeper中保存数据的结构
坐禅小和尚的专栏
05-23 2789
* Consumer id registry */consumers/[group_id]/ids[consumer_id] -> topic1,...topicN每一个group中的每一个consumer都有一个唯一的ID。每一个consumer都将其ID在zookeeper中创建一个ephemeral znode，节点的值是该consumer订阅的所有topic。当consumer断开其与zoo
Zookeeper在Kafka中的作用
hxt的博客
09-19 2327
Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举 一、Kafka在ZooKeeper中保存了哪些信息？ 上图中圆角的矩形是临时节点，直角矩形是持久化节点 左侧这棵树保存的是Kafka的Broker信息，/brokers/ids/[0...N]，每个临时节点对应着一个在线的Broker，Broker启动后会创建一个临时节点，...
Kafka在Zookeeper中存储的信息有哪些？
热门推荐
健身变秃，coding变强
04-11 1万+
Kafka在Zookeeper中存储的信息有哪些？
Kafka入门系列—2. topic的创建和存储
没有伞的孩子必须努力奔跑！—小林
06-21 1022
一. 首先启动zookeeper和kafka 前台方式启动zookeeper bin/zkServer.sh start-foreground 启动kafka bin/kafka-server-start.sh config/server.properties 二. topic命令行工具 向kafka发送消息、或从kafka接收消息时必须指定topic。 下面的命令可以查看kafka中已有的topic： bin/kafka-topics.sh --zook.
Kafka在zookeeper中存储的信息
张俊杰 的博客
03-01 1210
Kafka在zookeeper中的存储结构 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 每个topic的信息 { "version":1, // 版本编号目前固定为数字1 "partitions":{ // partitionId编号 "1":[ //同步副本组brokerId列表 101, 103 ],
Zookeeper中Kafka相关信息的存储
hyunbar的博客
06-08 362
zookeeper 是应用广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HFDS、Yarn、Hbase、Kafka等，都扮演着基础角色 在kafka.utils.ZKUtils对象的开头，预先定义了很多ZK路径，如： object ZkUtils extends scala.AnyRef { val AdminPath : java.lang.String = { /* ...
Zookeeper、Kafka与Storm：分布式协作与实时流处理基石
它与Zookeeper紧密集成，Zookeeper用于存储Kafka的元数据，如主题（topic）和分区（partition）信息。在Storm中，Zookeeper被用来协调拓扑（topology）的部署和管理，如节点的注册和注销、任务分配等。 总结： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值