Kafka指定分区消费及consumer-id,client-id相关概念解析

已于 2023-05-09 10:23:01 修改
阅读量4.5k 收藏 3
点赞数 1
分类专栏： Zookeeper及Kafka 文章标签： kafka java 分布式
于 2023-05-08 16:39:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40662424/article/details/130548906
版权

xxx系列文章

xxxx系列(1)―

xxxx系列(2)―

xxxxx系列(3)―

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

在最近使用Kafka过程中，发现使用@KafkaListener指定分区消费时（指定了所有分区），如果服务是多节点，会出现重复消费的现象，即两个服务节点中的消费者均会消费到相同信息，这与消费者组中只有一个消费者可以消费到消息的规则不相符，于是花时间找了找原因

参考链接：

Consumer 机制
小龙虾你抓不到(上面博主的专栏)

KafkaConsumer assign VS subscribe
Kafka的assign和subscribe订阅模式
使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析
kafka _ spring.kafka.listener.concurrency 的使用
kafka之Consumer消费者基本概念
kafka consumer属性

【spring-kafka】@KafkaListener详解与使用
【spring-kafka】属性concurrency的作用及如何配置(RoundRobinAssignor 、RangeAssignor)
石臻臻的杂货铺

Kafka消费者订阅指定主题(subscribe)或分区(assign)详解

Kafka 核心技术与实战学习笔记（二十五）消费者组重平衡
孔汤姆(上面博主的专栏)

@KafkaListener 详解及消息消费启停控制
kafka&logstash&flume&rabbitMq(上面博主的专栏)

一、问题描述

　　使用的代码如下，出现问题后使用kafka-consumer-groups.sh脚本查看，发现consumer-id，host，client-id均为空，这是很不正常的，于是搜索相关，在这篇博客找到了原因，(https://blog.csdn.net/z435128234/article/details/128320706) 
@KafkaListener(topicPartitions = {@TopicPartition(topic = "arch",partitions = {"0"})})

在这里插入图片描述

二、问题解决

　　之所以出现上面的的问题，是因为使用了消费组的手动分区，也就是consumer.assign()方式，如果使用了手动分区，则分区的自动管理方式不会再起作用，而且如果消费组成员变更或主题的元数据等信息改变，将不会触发再平衡机制。

在这里插入图片描述
结论：
　　KafkaConsumer.subscribe() : 为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给同group下的不同consumer。
　　KafkaConsumer.assign() : 为consumer手动、显示的指定需要消费的topic-partitions，不受group.id限制，相当与指定的group无效（this method does not use the consumer’s group management）。

二、验证

两个服务节点,各自启动三个消费者
在这里插入图片描述
在这里插入图片描述
一个服务节点,启动三个消费者,concurrency设置为3,所以实际上是9个
在这里插入图片描述

结论

　　client-id并不能唯一标识一个消费者,如果启动两个服务节点,就有重复的client-id出现,真正确定一个消费者的是consumer-id,由client-id+随机数生成

至于client-id的作用,官方给出的描述如下

An id string to pass to the server when making requests. The purpose of this is to be able to track the source of requests beyond just ip/port by allowing a logical application name to be included in server-side request logging.

发出请求时要传递给服务器的id字符串。这样做的目的是通过允许在服务器端请求日志中包含逻辑应用程序名称，能够跟踪不仅仅是ip/端口的请求源。
![在
这里插入图片描述](https://img-blog.csdnimg.cn/895d84c9fa6d4caa86efb08b739a235a.png)

　　查看kafka的server.log文件发现确实是在日志中起到标识作用的实际上是consumer-id,而并不是client-id,而client-id相当于只是consumer-id的一部分,但是由于consumer-id对使用者来说是不可见的,用户能够配置的只是consumer-id的前缀,即client-id,所以官方的解释本质上来说并没有太大问题
　　但只有consumer-id才能确认唯一的一个消费者,client-id在多个spring-boot是会出现重复的,只有consumer-id(client-id+随机数)才能唯一确认一个消费者

除此之外,在kafka协议相关也使用了client-id
在这里插入图片描述

抓包查看消费者相关
在这里插入图片描述

在这里插入图片描述

　　可以看到不仅有的client-id还有consumer-id,个人认为这个client只是个描述字段(非权威,勿喷),唯一确认请求的标志是correlation-id或是consumerid

欢迎关注我的公众号：映月空间

TheFeasterfromAfar
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
在需要 ClientId 鉴权的 Kafka 集群中，高效使用 Producer 和 Consumer 的方法
gelaozideha的博客
09-08 927
ClientId 在 Kafka 中主要用于标识和管理客户端应用程序，以及为监控、日志记录和资源管理提供支持。通过为每个客户端分配唯一的 ClientId，你可以更好地跟踪和管理 Kafka 集群中的各个客户端连接。然而在某些公司，ClientId 是用于鉴权和限流的，因此在使用 Kafka 时需要确保 ClientId 与申请 Topic 时的 ClientId 保持一致。
Kafka生产者客户端详解
godloveayuan的博客
07-15 1822
文章目录引言生产者 vs 消费者线程安全1. 生产者Java客户端生产者客户端代码：必备参数配置2. 消息发送模式2.1 发后即忘2.2 同步发送2.3 异步发送3. 消息发送流程3.1 生产者拦截器自定义拦截器与拦截器链3.2 序列化器StringSerialize序列化器的内部实现自定义序列化器3.3 分区器默认分区器自定义分区器4. 消息确认与异常重试`acks`参数可重试异常和不可重试异常消息重试与消息的顺序性5. 生产者客户端整体架构5.1 两个线程5.2 消息累加器 RecordAccumula
Hadoop(九)kafka配置
mingyunxiaohai的专栏
06-11 1481
Kafka是一个分布式流媒体平台，Kafka作为一个集群运行在一台或多台可以跨越多个数据中心的服务器上。 Kafka集群在称为主题的类别中存储记录流。每个记录由一个键，一个值和一个时间戳组成。 下载地址 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz 下载完后上传到linux服务器总解压...
在需要 ClientId 鉴权的 Kafka 集群中，高效使用 Producer 和 Consumer 的方法_kafka clientid
2401_84170337的博客
04-13 1004
源码讲义、实战项目、讲解视频，并且后续会持续更新**
kafka-消费者-指定分区消费（SpringBoot整合Kafka）
最新发布
小丁的博客
06-06 676
kafka-消费者-指定分区消费（SpringBoot整合Kafka）
Kafka知识总结之生产者简单使用
学习和工作总结，共勉！
02-02 3249
一. 测试环境搭建 引入依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </dependency> 创建一个Bean，这里的配置后面会解析。 import org.apache.kafka.clients
Kafka指定patition消费
Meyao's Blog
09-07 1559
As everyone knows the kafka producer can send message to specific patition： producer.send(new ProducerRecord&amp;lt;String, String&amp;gt;(&quot;topic&quot;, patition,&quot;key&quot;,&quot;value&quot;)); Now learn to recei
Kafka常用命令
nsa65223的专栏
05-16 2867
LAG： LOG-END-OFFSET减去CURRENT-OFFSET的值，表示积压量。--to-latest： 设置到最新处，也就是主题分区HW的位置。--to-earliest： 设置到最早位移处，也就是0。--shift-by NUM： 基于当前位移向前回退多少。--to-offset NUM： 指定具体的位移位置。--by-duration： 回退到多长时间。LOG-END-OFFSET： 分区最新位移。查看所有消费组详情--all-groups。查询消费者成员信息--members。
scala-kafka-client：用于运行Apache Kafka客户端库的Scala帮助器模块（0.9.x-2.1.0）
02-05
4. **自动分区分配**：Scala-Kafka-Client支持自动分区分配策略，允许开发者配置如何在消费者组内的成员之间均匀分配主题分区，从而实现负载均衡。 5. **幂等性与事务**：对于高一致性需求的应用，Scala-Kafka-...
Kafka-NodeJS-Client-Test:Kafka NodeJS客户端测试
04-30
Kafka NodeJS客户端测试 简而言之，所有需要的代码都能正常工作是一个简单的起点。 它使用来自的库以及它们提供的示例的混合。 该代码仅用于测试目的。 Kafka安装使用以下教程进行： : 创建主题 ./kafka/bin/...
java开发kafka-clients所需要的所有jar包以及源码
07-17
- `KafkaConsumer`类用于创建消费者实例，配置包括bootstrap servers、group id、offset管理策略等。 - `subscribe()`方法用于订阅一个或多个主题，`poll()`方法用于轮询获取新消息。 - 消费者通过自动或手动提交...
关于实现kafka-client客户端生产和消费消息的完整java示例项目源码下载（含依赖jar）.txt
07-16
该项目基于jdk1.8版本依赖kafka-clients-0.9.0.1.jar，实现对kafka消息订阅和产生 - 定义KafkaConsumerTest消息消费者测试类和KafkaProducerTest消息生产者测试类。
Linux搭建Kafka开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2421565
SpringBoot整合kafka，代码简洁，自动分配分区和指定分区消费(亲测可用)
04-24
SpringBoot整合kafka代码，两个工程 一个消费者 一个生产者，利用定时任务和restapi发送消息，自动分配分区消费和指定分区消费，再也不用写死分区了真好。代码简洁。欢迎大家下载。
kafka_client:java kafka-client原始码精读，元分析，加阅读注释
03-24
《Java Kafka-Client源码深度解析与元分析》 在分布式消息系统中，Apache Kafka扮演着重要的角色，而Java Kafka-Client是与Kafka交互的主要工具。本文将深入探讨Java Kafka-Client的源码，旨在帮助读者理解其内部...
kafka-rust：Apache Kafka的Rust客户端
02-05
- **创建消费者**：同样，使用`Client`创建一个`Consumer`，订阅你想要读取的主题。 - **发送和接收消息**：使用生产者的`send`方法发送消息，消费者则通过`fetch_messages`或`poll`方法获取新消息。 - **错误...
Kafka：设置消费者组分区分配策略
程序员无羡的博客
03-21 686
Kafka：设置消费者组分区分配策略
Kafka 实战 - 指定分区和偏移量，时间消费
qq_33240556的博客
04-10 785
总结来说，通过上述方法，Kafka 消费者可以在实战中灵活指定分区、偏移量或基于时间戳进行消息消费，以满足各种复杂的应用场景需求。在实际操作时，需要根据业务特点、数据一致性要求以及 Kafka 集群配置进行合理选择和调整。在 Apache Kafka 中，消费者可以通过指定分区和偏移量来精确控制消息消费的位置。此外，还可以基于时间戳来消费特定时间段内的消息。注意，这种方法要求 Kafka 集群启用并配置了时间戳索引，且消息带有正确的时间戳（如通过。的第 0 和第 1 分区消费消息。
kafka消费者--指定分区消费
atarik@163.com
03-12 7829
kafka消费者有两种模式, 订阅模式和分配模式, 具体区别如下 模式 不同之处 相同之处 subscribe() 使用 Kafka Group 管理，自动进行 rebalance 操作 可以在 Kafka 保存 offset assign() 用户自己进行相关的处理 也可以进行 offset commit，但是尽量保证 group.id 唯一性，如果...
kafka-client消费者
08-16
Kafka提供了一个Java客户端库`kafka-clients`，其中包含用于创建和管理消费者的类和方法。下面是一个示例，展示如何使用`kafka-clients`中的消费者类来消费Kafka消息： ```java import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.TopicPartition; import java.time.Duration; import java.util.Collections; import java.util.Properties; public class KafkaConsumerExample { public static void main(String[] args) { String bootstrapServers = "localhost:9092"; String groupId = "my-consumer-group"; String topic = "my-topic"; // 配置消费者属性 Properties properties = new Properties(); properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); properties.put(ConsumerConfig.GROUP_ID_CONFIG, groupId); properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); // 创建消费者实例 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties); // 订阅主题 consumer.subscribe(Collections.singletonList(topic)); // 或者指定特定的分区进行订阅 // TopicPartition partition = new TopicPartition(topic, 0); // consumer.assign(Collections.singleton(partition)); // 开始消费消息 while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord<String, String> record : records) { // 处理消息 System.out.println("Received message: " + record.value()); } } } } ``` 在上述示例中，首先配置了消费者的属性，包括Kafka集群地址、消费者组ID以及消息的反序列化器。然后创建了一个`KafkaConsumer`对象，并使用`subscribe`方法订阅了一个主题（或者可以使用`assign`方法指定特定的分区进行订阅）。 最后，在一个无限循环中调用`poll`方法来获取消息记录，然后遍历处理每条消息。 需要注意的是，消费者需要定期调用`poll`方法以获取新的消息记录。另外，消费者还可以使用`commitSync`或`commitAsync`方法手动提交消费位移，以确保消息被成功处理。 希望以上示例对你理解如何使用`kafka-clients`库中的消费者类来消费Kafka消息有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值