四、Kafka的元数据-MetaData

最新推荐文章于 2024-07-31 14:15:13 发布
置顶 最新推荐文章于 2024-07-31 14:15:13 发布
阅读量2.4k 收藏 4
点赞数 2
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31473465/article/details/108089733
版权

1、元数据(MetaData)：

  • 服务器活动状态
  • Topic和Topic的分区
  • Partition都有哪些Replication
  • 哪个Replication是Leader

ps:

  • 一般情况下，客户端会把元数据缓存起来，并直接往目标Broker上发送生产请求和获取请求。（缓存的类：org.apache.kafka.clients.MetadataCache）

  • 客户端需要定时发送元数据请求来刷新这些信息。

2、元数据请求时序图:

wanting1024
关注
专栏目录
【kafka】kafka Producer Metadata概述及源码分析
九师兄
03-19 1047
转载：Kafka源码阅读(二)：Producer Metadata概述及源码分析什么是metadata？metadata指Kafka集群的元数据，包含了Kafka集群的各种信息，例如如：metadata应用场景metadata在Kafka中无疑是非常重要的，很多场景中都需要从metadata中获取数据或更新数据，例如：指Kafka集群中所有node中，它是由每个node再InFlightRequests中还未确定的请求数决定的，未确定的请求越少则负载越小。如上图所示，node1即为LeastLoadedNo
【Kafka】kafka命令 kafka-console-producer
九师兄
03-21 2082
文章目录1.概述2.输入单挑数据3.批量导入数据3.无key型消息4.有key型消息 1.概述 消费者：【Kafka】kafka命令kafka-console-consumer.sh kafka-console-producer 命令的常用参数如下 参数值类型说明有效值--bootstrap-serverString要连接的服务器必需(除非指定--broker-list)形如：host1:prot1,host2:prot2--topicString(必需)接收消息的主题名称--broker-listStr
三、Kafka生产者4---核心组件[元数据]-Metadata
Vanchat的博客
01-21 2220
本文介绍了Kafka客户端元数据保存了那些数据及其结构，分别为：节点---Node，主题分区-TopicPartition，分区详情-PartitionMetadata/PartitionInfo
Kafka元数据
SolitudeCoding的博客
07-21 834
这篇文章将主要介绍 Kafka 中的元数据和生产者拉取元数据的过程。生产者在发送消息时，需要获取消息所属的 Topic 在 Broker 节点上的分布情况，然后将消息发送到对应的节点，因此，在生产者发送消息时，需要有当前 Topic 的元数据信息。本篇文章在 Kafka 生产者拉取元数据代码的基础上，对元数据内部的数据结构和生产者拉取元数据的过程进行介绍，并且对生产者拉取元数据的代码增加了注释来方便理解。
Kafka Metadata
lusic01的专栏
10-17 3479
Librdkafka对Kafka Metadata的封装和操作 我们在之前的Kafka源码分析系列中介绍过kafka集群的metadata, 大家可以参考一下; 简单说, kafka集群的metadata包括: 所有broker的信息: ip和port; 所有topic的信息: topic name, partition数量, 每个partition的leader, isr, repli...
kafka学习笔记(四):源码角度理解metadata
BlueLotuss的博客
10-18 1147
Kafka更新metadata的总体流程 Kafka集群元数据 Kafka每个Topic中有多个分区，这些分区的Leader副本可以分配在集群中不同的Broker上。我们站在生产者的角度来看，分区的数量以及Leader副本的分布是动态变化的。通过简单的示例说明这种动态变化：在运行过程中，Leader副本随时都有可能出现故障进而导致Leader副本的重新选举，新的Leader副本会在其他Broker上继续对外提供服务。当需要提高某Topic的并行处理消息的能力时，我们可以通过增加其分区的数量来实现。当然，还
Kafka源码分析（三）——Producer：Metadata集群元数据
smart_an的专栏
06-06 774
本章，我对Producer的Topic元数据拉取机制进行了讲解，Topic的元数据都是按需拉取的，这是一种延迟加载的思想。Sender线程成功的在时间内（默认60秒），把Topic元数据加载到了，然后缓存到了Metadata里去，更新了version版本号，此时会尝试把阻塞等待的主线程唤醒；主线程等待超过60秒，Sender线程还没有完成元数据加载，则抛出超时异常。另外，Sender线程在实际拉取元数据时，会挑选一个负载最小的Broker节点，然后向这个 节点发送请求来获取具体的元数据信息。
聊聊 Kafka：Producer Metadata 读取与更新机制
2401_84048935的博客
04-08 690
学习技术一定要制定一个明确的学习路线，这样才能高效的学习，不必要做无效功，既浪费时间又得不到什么效率，大家不妨按照我这份路线来学习。大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！6456)]大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！
Kafka源码分析-Producer Topic元数据拉取与Partitioner组件源码剖析
最新发布
program哲学
07-31 60
本文从源码角度对Producer端Topic元数据拉取与Partitioner组件进行深入剖析
Kafka锦集(一)：Kafka的介绍 | 下载和安装 | kafka服务无法关闭 | bin/kafka-server-stop.sh无效 | 总结的很详细
血煞长虹 的专栏
10-15 4587
本文详细介绍了Kafka的下载和安装，简述zk的安装部署，kafka启动时不识别主界面的解决方案。
kafka-console-consumer 参数 --zookeeper 不可用 与 The coordinator is not available的问题
u013547195的专栏
02-24 4394
事情起因是这样的。我们环境需要用到kafka，现在都是使用容器化的不是，大佬就找了个github星最多docker-kafka连接给我，建议我用这个来搭建。我们开发环境已经有了zk，所以就让我用kafka连上面的zk。kafka搭起来了，生产者可以生产。但是消费者始终是消费不到消息。使用tcpdump抓包也可以确认，消息已经发送到kafka。但是消费者始终无法消费。猜想是不是那个步骤执行错了。所以...
kafka源码2-元数据
strong_yu的博客
11-23 947
从前面我们看到，生产者在发送数据时，首先是更新元数据，这次分析一下更新元数据的流程 ，首先生产者是怎么保存元数据的 元数据结构 Metadata对象 public final class Metadata implements Closeable { private static final Logger log = LoggerFactory.getLogger(Metadata.class); public static final long TOPIC_EXPIRY_MS = 5 * 60 * 1
kafka中元数据特性
weixin_38424594的博客
04-05 1865
在kafka2.x及之前的版本当中，一直都需要依赖于zookeeper作为协调服务，kafka集群在启动的时候，也会向zookeeper集群当中写入很多重要的元数据，我们可以一起来看一下在kafka2当中保留在zk当中的元数据有哪些 可以看到在zk当中保存了很多kafka集群的元数据信息 /admin ： 主要保存kafka当中的核心的重要信息，包括类似于已经删除的topic就会保存在这个路径下面 /brokers ： 主要用于保存kafka集群当中的broker信息，以及没被删除的topic信
stream 分组_Stream的消息分组
weixin_39760619的博客
12-16 952
三、Stream的消息分组在上个案例中，如果有多个消息接收者，那么消息生产者发送的消息会被多个消费者都接收到，这种情况在某些实际场景下是有很大问题的，比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那如果一个订单同时被两个服务获取到，那么就会造成数据错误，我们得避免这种情况。这时我们就可以使用Stream中的消息分组来解决了！还有一个问题：上个案例创建的队列是临时队...
kafka副本机制（五）：MetadataCache
lianggx3的博客
08-18 992
MetadaCache是Broker用来缓存整个集群中分区状态的组件。KafkaController通过向集群中的broker发送updateMetadataRequest来更新其metadataCache中缓存的数据，每个broker在收到该请求后会异步更新metadatCache的数据。 private[server] class MetadataCache(brokerId: Int...
KAFKA那些事-04-KAFKA的元数据细节、消息存放机制、零拷贝发送、分布式集群副本同步
darkness0604的博客
06-15 917
KAFKA的元数据与zookeeper kafka的元数据是交给zookeeper来管理的。 假设我们有topic ：ooxx， 副本数为2，主副本在id为3的broker上，另一个副本在id为1的上面。 此时，只有主副本有读写能力，从副本只能备着。 前面我们说过，kafka集群会选出一个broker作为controller，这个选举是借助zookeeper来完成的，zookeeper本质是通过让它们抢占一个临时节点，谁抢到谁就是controller。 如图下： 通过zookeeper的kafka路径中
【Kafka从成神到升仙系列 三】你真的了解 Kafka 的元数据嘛
爱敲代码的小黄
11-14 2531
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从成神到升仙。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
kafka元数据管理--
李玉坤的博客
03-15 4134
文章目录ZK结构树admin节点brokers节点consumers节点config节点controller节点 ZK结构树 admin节点 brokers节点 consumers节点 /consumers/[groupId]/ids/[consumerIdString] /consumers/[groupId]/owners/[topic]/[partitionId] -> co...
flink kafkasource获取 metadata
08-30
Flink KafkaSource 可以通过获取 Kafka Topic 的元数据来实现。元数据包括 Topic 的名称、分区数、每个分区的副本数量和分区的 Leader 等信息。 为了获取元数据，我们可以使用 flink-connector-kafka 库提供的 Kafka Consumer API 来连接到 Kafka 集群。具体步骤如下： 1. 创建 Kafka Consumer：使用 flink-connector-kafka 库提供的 Kafka Consumer API 创建一个 Kafka Consumer 实例。在创建实例时，需要配置 Kafka 集群的地址、Topic 的名称以及其他必要参数。 2. 获取 Kafka Topic 的元数据：通过调用 Kafka Consumer 的 `listTopics()` 方法，可以获取到 Kafka 集群中所有的 Topic 和它们的分区信息。该方法返回一个 Map，其中键是 Topic 的名称，值是一个 TopicPartitionInfo 对象，该对象包含了分区的信息。 3. 解析元数据：遍历上一步获取到的 Map，可以获取每个 Topic 的名称和分区数等信息。通过访问 TopicPartitionInfo 对象的方法，可以获取到每个分区的副本数量和 Leader 等元数据。 4. 处理元数据：根据需要，可以将元数据转化为想要的格式或者进行进一步的处理。例如，可以将元数据存储到数据库或者打印到日志中。 通过以上步骤，我们可以使用 Flink KafkaSource 获取 Kafka Topic 的元数据。这些元数据可以帮助我们了解 Topic 的结构以及分区的情况，从而更好地设计和优化 Flink 程序的处理逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值