kafka原理：zookeeper中的存储结构讲解

最新推荐文章于 2023-02-02 14:03:26 发布
VIP文章 最新推荐文章于 2023-02-02 14:03:26 发布
阅读量391 收藏
点赞数
文章标签： kafka zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kafka_zsxq/article/details/121739825
版权

在这里插入图片描述

在这里插入图片描述

/cluster

/cluster/id 持久数据节点

集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"version":"1","id":"0"}

/controller_epoch 持久数据节点

Controller选举次数;

/Controller 临时数据节点

当前Controller角色的BrokerId,数据示例: {"version":1,"brokerid":0,"timestamp":"1624415590383"} 删除该节点立马触发重新选举

/lo

最低0.47元/天 解锁文章
kafka中文社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
5.Kafka之Broker、Producer和Consumer知识点汇总
guachiqi2340的博客
07-06 1341
本章纯属理论篇，其中涉及到面试常问的理论知识点。zookeeper存储kafka信息默认根路径为 /，根路径配置项为，我的配置为：zookeeper.connect=localhost:2181,localhost:2182,localhost:2183/kafka，所以根路径为/kafka。kafka相关信息都存储在了配置的根路径下。consumer或者producer客户端连接kafka集群，然后通过kafka集群到zookeeper集群寻找 /{根目录}/topics/{topic}/partitio
KafKa在ZooKeeper上的存储结构
夏天小厨的博客
10-25 1728
KafKa在ZooKeeper上的存储结构 首先 我们先了解一下kafka在zookeeper上的文件结构，进入一台zookeeper主机，输入命令 bin/zkCli.sh  进入交互模式，ls出zk的根目录，如下图 KafKa在ZooKeeper上的文件结构 这篇文章我们分析一下上图中除了zookeeper的其他文件夹对于kafka来说都是什么含义。 zk-root根目录包含6个k...
apache kafka系列之在zookeeper中存储结构
李志涛的专栏
04-15 3万+
1.topic注册信息 /brokers/topics/[topic] : Schema: { "fields" :     [ {"name": "version", "type": "int", "doc": "version id"},       {"name": "partitions",        "type": {"type": "ma
Kafka在Zookeeper中存储的信息有哪些？
健身变秃，coding变强
04-11 1万+
Kafka在Zookeeper中存储的信息有哪些？
Kafka在Zookeeper存储结构
数据工匠记
03-17 1649
在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（Kafka Raft）模式，逐步去除对zookeeper的依赖（依然兼容）。在zookeeper中存储了很多kafka元数据信息, 例如 「Broker的注册信息」、「Topic的信息」 、 「运维操作临时信息 」、 「配置信息」等等其他信息。 /brokers/topics/[topic]： 存储某个topic的partitions所有分配信息 { "version": "版本编号目前固定为数字.
kafka配置文件zookeeper参数.md
03-11
kafka配置文件zookeeper参数.md
Kafka压缩包和zookeeper压缩包
06-07
Kafka压缩包和zookeeper压缩包
Zookeeper3.7与3.8加kafka2.12-3.1.0
04-14
ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Kafka目前主要作为一个分布式的发布订阅式的消息系统使用 本资源包括...
kafka2.4.0+zookeeper+kafka-connect集成环境包
03-18
kafka2.4.0+zookeeper+kafka-connect集成安装包
test-kafka:用于在 Clojure 中进行测试的进程内 Kafka 和 ZooKeeper 运行程序
06-13
用于在 Clojure 中进行测试的进程内 Kafka 和 ZooKeeper 运行程序。 改编自的集成测试。 当前版本依赖于 Kafka 0.8.2 或更高版本。 如果您需要与 Kafka 0.8.0 或 0.8.1 兼容，请使用 test-kafka 。 用法 使用 ...
Zookeeper在Kafka中的作用
hxt的博客
09-19 2289
Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举 一、Kafka在ZooKeeper中保存了哪些信息？ 上图中圆角的矩形是临时节点，直角矩形是持久化节点 左侧这棵树保存的是Kafka的Broker信息，/brokers/ids/[0...N]，每个临时节点对应着一个在线的Broker，Broker启动后会创建一个临时节点，...
Zookeeper中存储的Kafka信息
congge_study的博客
03-05 7570
Zookeeper中存储的Kafka信息
zookeeper 跟kafka 之间的具体存储结构
qq_35869630的博客
04-06 1661
zookeeper 跟kafka 之间的具体存储结构 ** zookeeper到底存储了kafka的什么东西？ 1、kafka依赖zookeeper对集群进行管理，zookeeper存储kafka 各个sever（broker）的信息，当kafka各个节点的信息发生改变能够及时进行通知处理。 2、kafka的topic信息是存储在zookeeper上的，zookeeper上只存储topic的配置信...
kafka在zk中的存储结构
11-25 593
视频讲解的URL：http://edu.51cto.com/course/course_id-2461.html 涉及到的相关项目为 kafka 0.8.1.1 zookeeper 3.3.6 环境下面的存储的结构 图片中描述了kafka在zk中的存储结构，以及存储的相关数据，绿色代表的是zk的临时节点，当对应的进程退出后，此临时的znode将自动删除。由于consume
kafka在zookeeper中存储结构
zzhongcy的专栏
02-02 508
kafka, zookeeper
Kafka的数据存储
hyj
04-23 2万+
kafka数据存储详细说明
kafka在zookeeper上的节点信息和查看方式
热门推荐
lkforce
09-06 4万+
kafka在Zookeeper上的节点如下图： 该图片盗自大牛的博客http://blog.csdn.net/lizhitao/article/details/23744675 服务端开启的情况下，进入客户端的命令：{zookeeper目录}/bin/zkCli.sh 以下是几个zookeeper客户端用的命令，不只kafka，其他任何注册到zookeeper的服务都可以使用
Kafka在zookeeper中的存储情况
chuxue1989的专栏
07-21 312
目录机构 通过zkCli.sh ls命令查看 [cluster, controller_epoch, controller, storm, brokers, zookeeper, admin, isr_change_notification, consumers, log_dir_event_notification, latest_producer_id_block, config] co...
依赖Zookeeper生成全局唯一序列号
weixin_33754913的博客
08-18 486
  下面2张图来自：http://www.open-open.com/doc/view/2e0a82e0081d489dace301a2c512053c     关于Zookeeper服务安装，配置，启动, 客户端操作参见：  http://aiilive.blog.51cto.com/1925756/1684451   http://aiilive.blog.51cto.com/1925756/...
version: '3' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - 12181:2181 container_name: zookeeper tty: true restart: alwaysversion: '3' services: kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=192.168.233.129:12181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.233.129:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 tty: true restart: always 这两天帮我整合在一起
最新发布
07-12
Certainly! Here's the combined `docker-compose.yml` file for both ZooKeeper and Kafka: ```yaml version: '3' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - 12181:2181 container_name: zookeeper tty: true restart: always kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 depends_on: - zookeeper tty: true restart: always ``` In this configuration, both ZooKeeper and Kafka are defined as separate services within the same `docker-compose.yml` file. The Kafka service depends on the ZooKeeper service using the `depends_on` keyword. You can save this content into a file named `docker-compose.yml` and run `docker-compose up -d` to start both containers.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值