kafka元数据管理--

最新推荐文章于 2024-05-14 23:43:27 发布
最新推荐文章于 2024-05-14 23:43:27 发布
阅读量4.1k 收藏 6
点赞数
分类专栏： Kafka学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingdianone/article/details/88555490
版权

文章目录

ZK结构树

在这里插入图片描述
kafka这个是zk上创建的一个节点；这个kafka节点下有admin brokers等子节点

admin节点

在这里插入图片描述

brokers节点

brokers节点下有ids和topics节点；这些信息都可以在zk中使用命令查到。
ids就是broker的id；每个id下存放了相对应的broker的基本信息。
topics是存放的topic基本信息。topic下面就是partitons，每个partiton下是这个partiton的基本信息。
在这里插入图片描述

consumers节点

临时节点，集群关闭就会自动删除

  • ids: 临时znode，每创建一个consumer实例，就会创建一个consumerid节点
  • owners 临时节点，用来标示partition被哪个consumer消费
  • offset 持久节点，用来跟踪每个consumer目前所消费的partiton
最低0.47元/天 解锁文章
-无妄-
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
图解 Kafka 生产者元数据拉取管理全流程
m0_67322837的博客
08-19 1297
消息想从 Producer 端发送到 Broker 端，必须要先知道 Topic 在 Broker 的分布情况，才能判断消息该发往哪些节点，比如：「Topic 对应的 Leader 分区有哪些」、「Leader分区分布在哪些 Broker 节点」、「Topic 分区动态变更」等等，所以及时获取元数据对生产者正常工作是非常有必要的。元数据获取涉及的底层组件比较多，主要分为：「KafkaProducer 主线程加载元数据」、「Sender 子线程拉取元数据」。
Kafka Controller模块（一）：集群元数据ControllerContext
lianggx3的博客
09-27 294
ControllerContext储存kafka集群的元数据，定义如下： class ControllerContext { val stats = new ControllerStats // Controller统计信息类 var offlinePartitionCount = 0 // 离线分区计数器 var shuttingDownBrokerIds: mutable.Set[Int] = mutable.Set.empty // 关闭中Broker的Id列表 private v
【Kafka从成神到升仙系列 三】你真的了解 Kafka 的元数据嘛_kafka是基于netty吗(2)
最新发布
2401_84182392的博客
05-14 817
如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。
【Kafka从成神到升仙系列 三】你真的了解 Kafka 的元数据嘛
爱敲代码的小黄
11-14 2489
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从成神到升仙。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
kafka中元数据特性
weixin_38424594的博客
04-05 1844
在kafka2.x及之前的版本当中，一直都需要依赖于zookeeper作为协调服务，kafka集群在启动的时候，也会向zookeeper集群当中写入很多重要的元数据，我们可以一起来看一下在kafka2当中保留在zk当中的元数据有哪些 可以看到在zk当中保存了很多kafka集群的元数据信息 /admin ： 主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面 /brokers ： 主要用于保存kafka集群当中的broker信息，以及没被删除的topic信
Kafka如何对Topic元数据进行细粒度的懒加载、同步等待？
墨玉浮白的博客
04-29 411
首先确保Topic的元数据可用，否则消息根本没法往外发。如果以前从没加载过Topic元数据，就会在doSend发送消息时调用waitOnMetadata方法在此同步阻塞住，等待连接Broker成功后拉取元数据。 max.block.ms决定了调用send()方法时，最多会被阻塞多长时间。send在一些异常情况下： 拉取Topic元数据，连接不到Broker 数据放到内存缓冲区，但内存缓冲区已经满了 经历这段时间后，就必须得返回了。 首先会判断目标Topic的元数据是否已经被加载过了。如果没有，就会把该T
最新版kafka kafka_2.13-2.6.0.tgz
08-08
- **性能优化**：对读写速度、网络通信以及元数据管理进行了优化，提升整体性能。 - **更好的容错性**：增强了副本同步机制，减少了数据丢失的可能性。 - **新API或功能**：可能增加了新的API接口，以支持更多复杂的...
kafka_2.12-3.3.1.tgz
10-04
- `schemas`目录：用于Avro和Schema Registry相关的配置和元数据。 - `clients`目录：包含Kafka的Java客户端库，供开发者在应用程序中使用。 在部署和使用Kafka时，你需要根据实际需求修改配置文件，如设置broker的...
kafka-2.12-3.3.2.tgz
02-01
5. **性能提升**：优化了网络层和元数据处理，提高了读写性能和集群扩展能力。 总的来说，Kafka 2.12-3.3.2版本在保持其核心特性的基础上，对生产者和消费者的API进行了优化，增强了集群的稳定性和安全性，使得...
kafka_2.11-2.0.0.tgz
07-03
- **启动Zookeeper**：Kafka依赖Zookeeper进行元数据管理，需要先启动Zookeeper服务。 - **配置Kafka**：修改config/server.properties文件，配置broker ID、端口、日志存储路径等参数。 - **启动Kafka服务器**...
Apache Kafka 3.1.0 (kafka-3.1.0-src.tgz)
02-16
- **Zookeeper**：Kafka依赖Zookeeper进行元数据管理和协调，如管理集群配置、选举领导者等。 3. **应用场景** - **日志收集**：Kafka广泛用于收集各种系统的日志数据，形成统一的日志层。 - **流数据处理**：...
Kafka controller重设计
weixin_33775572的博客
06-10 134
　　本文主要参考社区0.11版本Controller的重设计方案，试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知，Kafka中有个关键组件叫controller，负责管理和协调Kafka集群。网上关于controller的源码分析也有很多，本文就不再大段地列出代码重复做这件事情了。实际上，对于controller的代码我一直觉得写的非常混乱，各种调用关系...
(Kafka源码二)Kafka的元数据
weixin_42828342的博客
02-02 804
本文详细介绍了producer是如何通过sender线程从broker集群中拉取到元数据，在拉取的过程中是如何建立网络连接的，以及如何发送消息请求给broker和处理broker发送回来的响应。主要流程就是通过第一次调用poll()方法的步骤一先是往selector上注册OP_CONNECT。
「Kafka核心源码剖析系列」2. Kafka元数据以及消息封装
大数据与人工智能
08-23 453
作者 | 吴邪 大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究编辑 | auroral-L全文共4296字，预计阅读35分钟。...
四、Kafka的元数据-MetaData
qq_31473465的博客
08-18 2406
1、元数据(MetaData)： 服务器活动状态 Topic和Topic的分区 Partition都有哪些Replication 哪个Replication是Leader ps: 一般情况下，客户端会把元数据缓存起来，并直接往目标Broker上发送生产请求和获取请求。 客户端需要定时发送元数据请求来刷新这些信息。 2、元数据请求时序图: ...
Kafka元数据、消费者组相关、传送数据可靠性保证
初心江湖路的博客
11-30 212
1、Kafka的metadada   任何一个kafka broker上都有kafka topic的元数据信息，当Producer获取到元信息之后，便直接通过元信息和对应partition leader建立socket连接，消息直接发送到partition leader上。   这里边能够知道的是，每个kafka节点上都存有kafka topic的元数据信息，通过这种方式，数据发送时直接“建立专线...
KAFKA那些事-04-KAFKA的元数据细节、消息存放机制、零拷贝发送、分布式集群副本同步
darkness0604的博客
06-15 851
KAFKA的元数据与zookeeper kafka的元数据是交给zookeeper来管理的。 假设我们有topic ：ooxx， 副本数为2，主副本在id为3的broker上，另一个副本在id为1的上面。 此时，只有主副本有读写能力，从副本只能备着。 前面我们说过，kafka集群会选出一个broker作为controller，这个选举是借助zookeeper来完成的，zookeeper本质是通过让它们抢占一个临时节点，谁抢到谁就是controller。 如图下： 通过zookeeper的kafka路径中
Kafka元数据拉取流程
墨玉浮白的博客
11-28 1412
Kafka元数据拉取流程
Redis实现消息队列
ALIVE
11-04 1964
Redis实现轻量级的消息队列与消息中间件相比，没有高级特性也没有ACK保证，无法做到数据不重不漏，如果业务简单而且对消息的可靠性不是那么严格可以尝试使用。 列表类型 Redis中列表List类型是按照插入顺序排序的字符串链表，和数据结构中的普通链表一样，可以在头部left和尾部right添加新的元素。插入时如果键不存在Redis将为该键创建一个新的链表。如果链表中所有元素均被删除，那么该键也会...
/opt/module/kafka/bin/kafka-topics.sh --zookeeper hadoop102:2181 --topic calllog --create --replication-factor 1 --partitions 3
06-13
- `--zookeeper hadoop102:2181` 指定了 ZooKeeper 的地址，用于管理 Kafka 的元数据 - `--topic calllog` 指定要创建的主题名称为 `calllog` - `--create` 指定要创建主题 - `--replication-factor 1` 指定主题的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值