kafka 消费者组与重平衡与offset

已于 2024-10-03 16:57:41 修改
阅读量305 收藏 3
点赞数 8
分类专栏： 中间件 文章标签： kafka 分布式
于 2024-10-03 14:47:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26594041/article/details/142688571
版权

消费者组

  1. 消费能力不足时，可以在消费者组，扩展消费者
  2. 一个topic 可以被多个消费者组消费
  3. 消费者是消费组的一部分。消费组保证每个分区只能被一个消费者使用，避免重复消费
  4. 单个Partition只能由消费者组中某个消费者消费
  5. 消费者数量不应该大于主题的分区数量，因为没有意义
  6. 消费者都隶属于同一个消费组，相当于点对点模型
  7. 消费者都隶属于不同的消费组，相当于发布/订阅模式的应用

分区与消费者组关系

 重平衡

  1. 特别耗性能，所以能不做就不做
  2. 重平衡操作会正消费者暂停消费。什么也干不了，影响吞吐

触发时机

  1. 新增或删除消费者
  2. 消费者订阅的主题信息发生变化
  3. 主题的分区发生了变化

避免

  1. session.timout.ms：控制心跳超时时间
  2. heartbeat.interval.ms：控制发送心跳的频率，频率越高越不容易被误判，但也会消耗更多资源
  3. max.poll.interval.ms：控制poll的间隔

消费者poll数据后，需要一些处理，再进行拉取

如果两次拉取时间间隔超过这个参数设置的值，那么消费者就会被踢出消费者组

默认值是5分钟，而如果消费者接收到数据后会执行耗时的操作，则应该将其设置得大一些

推荐设置

  1. session.timout.ms：设置为6s
  2. heartbeat.interval.ms：设置2s
  3. max.poll.interval.ms：推荐为消费者处理消息最长耗时再加1分钟

导致的重复消费

Consumer 每 5s 提交 offset

假设提交 offset 后的 3s 发生了 Rebalance

Rebalance 之后的所有 Consumer 从上一次提交的 offset 处继续消费

因此 Rebalance 发生前 3s 的消息会被重复消费

offset

  1. 由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。
  2. __consumer_offsets主题中保存各个消费组的偏移量。
  3. 位移是提交到Kafka中的 __consumer_offsets 主题。 __consumer_offsets 中的消息保存了每个消费组某一时刻提交的offset信息。配置了compact策略，使得它总是能够保存最新的位移信息，既控制 了该topic总体的日志容量，也能实现保存最新offset的目的。
  4. 消费者通过偏移量来区分已经读过的消息，从而消费消息

存在,及合理
关注
专栏目录
Kafka 基本操作之平衡 Leader、群集之间的数据镜像、检查消费者的位置、管理消费者组
流华追梦的专栏
03-26 1070
Leader 负载均衡是指在分布式系统中，将负载均衡地分配给不同的 Leader 节点，以实现系统的高可用性和性能优化。在 Kafka 中，Leader 负载均衡是通过动态选举和重新分配分区的方式来实现的。Kafka 的分区是分布在多个 Broker（即 Kafka 节点）上的，每个分区都有一个 Leader 和若干个Follower。Leader 负责处理分区的读写请求，而 Follower 则复制 Leader 的数据以提供备份和故障恢复。
详细解析kafka之 kafka消费者组与重平衡机制
zzzzMing -大数据/数据分析/数据挖掘
04-08 1721
消费组组（Consumer group）可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布-订阅模型。 队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一个问题，那就是只能由一个消费者消费，无法直接让多个消费者消费数据。基于...
25 kafka消费者组重平衡
qq_41904699的博客
11-13 603
1.位置主题&写调整复习 (TODO)2.重平衡是通过心跳线程的心跳请求来通知的，需要重平衡则请求响应REBALANCE_IN_PROGRESS。0.10.1.0版本后心跳线程和消息消费线程分离，避免了消息消费时间长影响心跳。heartbeat.interval.ms参数控制心跳请求频率也控制重平衡频率。
Kafka重平衡导致无限循环消费问题
Janche的博客
05-27 2220
通过消费组管理消费者时，该配置指定拉取消息线程最长空闲时间，若超过这个时间间隔没有发起poll操作，则消费组认为该消费者已离开了消费组，将进行再均衡操作（将分区分配给组内其他消费者成员）kafka默认的消息消费超时时间max.poll.interval.ms = 300000, 也就是5分钟，超过5分钟，会认为当前消费者已经死掉，会主动发起重平衡。Kafka消费者消费消息超过了5分钟，不停的触发重平衡，消费者的offset因为重平衡提交失败，重复拉取消费，重复消费。5. 订阅主题的分区数发生变更。
Kafka消费者组
m0_47743175的博客
06-28 1451
Kafka消费者组
java kafka删除用户组_详细解析kafka之kafka消费者组与重平衡机制
weixin_39674190的博客
02-24 743
㊣kafka源码解析与实战源码原理61.5元包邮(需用券)去购买 >消费组组(Consumer group)可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布-订阅模型。队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一...
kafka 重新分配节点_详细解析kafka之 kafka消费者组与重平衡机制
weixin_42350506的博客
12-24 785
消费组组(Consumer group)可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布-订阅模型。队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一个问题，那就是只能由一个消费者消费，无法直接让多个消费者消费数据。基于这个...
Kafka消费者组重平衡（二）
他叫阿来
09-15 1170
一个消费者组最开始是 Empty 状态，当重平衡过程开启后，它会被置于PreparingRebalance 状态等待成员加入，之后变更到CompletingRebalance 状态等待分配方案，最后流转到 Stable 状态完成重平衡。
kafka消费者组重平衡悬疑问题
mmgithub123的博客
04-07 3027
首先kafka的消费者组机制一直很受诟病，就是很受诟病的。 过度设计，也不实用，永远在做没必要的重平衡。很多情况架构上和客户端上都可以自己做。 其次，如果用了咋办 什么时候会发生rebalance？ 前面我们已经说到，rebalance 其实就是对 partition 进行重新分配。那么什么时候会发生 rebalance 呢？其实在以下三种情况下，会触发 rebalance： 订阅 Topic...
kafka消费者组与重平衡机制，了解一下？
qq_42982923的博客
04-11 214
消费组组（Consumer group）可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布-订阅模型。 队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一个问题，那就是只能由一个消费者消费，无法直接让多个消费...
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 490
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
Kafka学习笔记(一)Kafka基准测试、幂等性和事务、Java编程操作Kafka
挑灯日记 记录自己
09-27 1250
Kafka学习笔记(一)Linux环境基于Zookeeper搭建Kafka集群、Kafka的架构在HTTP/1.1中对幂等性的定义是：一次和多次请求某一个资源，对于资源本身应该具有同样的结果（网络超时等问题除外）。也就是说，任意多次请求执行，对资源本身所产生的影响均与一次请求执行的影响相同。实现幂等性的关键就是服务端可以区分请求是否重复，过滤掉重复的请求。唯一标识：要想区分请求是否重复，请求中就得有唯一标识。例如支付请求中，订单号就是唯一标识。记录下已处理过的请求标识。
Kafka 面试题
longlongqin的博客
09-25 1263
此时会有问题，当消费者刚拿到这个消息准备进行真正消费的时候，突然挂掉了，消息实际上并没有被消费，但是 offset 却被自动提交了。重试机制默认最多重试10次，每次重试的时间间隔为 0，即立即进行重试。：当没有明确指定 Partition 但消息有 key 时，Kafka 会计算 key 的哈希值，然后与该Topic 的分区数量取余，得到的余数就是要放入分区的ID。表示）：生产者发送消息后，需要等待所有的同步副本（In-Sync Replicas，ISR）都成功接收到消息后，才会收到来自服务器的确认响应。
Kafka介绍
最新发布
qq_41081716的博客
09-30 867
Apache Kafka 是大数据生态系统中的一个重要组成部分，它不仅作为一个高效的消息传递系统，还作为数据管道和事件驱动架构的核心组件，为实时数据处理和分析提供了强大的支持。通过其高吞吐量、低延迟、可扩展性和容错性，Kafka 成为了现代数据架构中的首选技术之一。
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析
永远好奇，无限进步！
09-29 1887
Apache Druid 从 Kafka 中获取数据并进行分析的流程通常分为以下几个步骤：Kafka 数据流的接入： Druid 通过 Kafka Indexing Service 直接从 Kafka 中摄取实时流数据。Kafka 是一个高吞吐量的消息队列，适合处理大量实时数据。Druid 会订阅 Kafka 的 topic，每当新数据到达时，它会自动从 Kafka 中读取数据。
Python知识点：如何使用Kafka与Python进行流数据处理
码农超哥的博客
09-29 501
通过库，Python可以轻松地与Kafka集成，实现流数据的生产和消费。无论是简单的数据传输还是复杂的流处理任务，Kafka与Python的结合都能提供强大的支持。请注意，以上示例假设你已经有一个运行中的Kafka服务器，并且是Kafka服务的地址。在实际部署中，你需要根据实际环境配置Kafka服务器的地址和端口。最后，说一个好消息，如果你正苦于毕业设计，点击下面的卡片call我，赠送定制版的开题报告和任务书，先到先得！过期不候！
Kafka 在 Linux 下的集群配置和安装
J老熊
09-26 1232
本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程，包括每个配置项的说明和常见故障的排查方法。通过这些步骤，您可以轻松地构建一个可靠的 Kafka 集群，支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。
Kafka和RabbitMQ区别
weixin_37788102的博客
09-29 207
延迟消息是指生产者发送消息发送消息后，不能立刻被消费者消费，需要等待指定的时间后才可以被消费。
使用微服务Spring Cloud集成Kafka实现异步通信
月亮的技术博客
09-29 994
在微服务架构中，使用Spring Cloud集成Apache Kafka来实现异步通信是一种常见且高效的做法。Kafka作为一个分布式流处理平台，能够处理高吞吐量的数据，非常适合用于微服务之间的消息传递。
Spring Boot的Kafka消费者如何处理消费组管
08-14
在Spring Boot中，Kafka消费者通过消费组（Consumer Group）来管理消息的消费。消费组允许多个消费者实例共享同一个主题上的消息，这样可以实现负载均衡并避免重复消费。以下是消费组管理的关键点： 1. **分区分配**: 每个主题在Kafka中被划分为多个分区。Spring Boot的`KafkaConsumer`自动跟踪每个分区的分配情况，确保多个消费者实例均匀地接收分区。 ```java @Autowired private KafkaTemplate<String, String> kafkaTemplate; @KafkaListener(topics = "my-topic") public void consume(String message, @Header(KafkaHeaders.GROUP_ID) String groupId) { // ... } ``` 在上面的代码中，`@KafkaListener`会自动配置分区分配策略，监听名为"my-topic"的主题。 2. **消费模式**: Spring Boot提供了多种消费模式，如`CONSUMER`, `LEADER_ONLY`等，其中`CONSUMER`是最常见的，它按照顺序消费消息，直到消费者离开或手动取消订阅。 ```java @Configuration public class KafkaConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 设置消费模式为顺序消费 Map<String, Object> props = new HashMap<>(); props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); return new DefaultKafkaConsumerFactory<>(props); } } ``` 3. **消费组ID**: 消费者实例需要提供一个唯一的`GROUP_ID`，这决定了哪些消费者实例属于同一组。如果两个消费者具有相同的`GROUP_ID`，它们会协同工作，共同消费主题的消息。 4. **消息确认**: 消费者在接收到消息后发送一个确认，告诉Kafka已经成功处理了消息。这有助于保证消息不会丢失，并防止重复消费。 5. **监控与扩展**: Spring Boot提供了对消费者性能的监控工具，如`@KafkaMetricsListener`。随着生产系统的扩展，可以通过增加消费者实例数量来平衡负载。 **相关问题--:** 1. 如何在Spring Boot中设置自定义的消费策略？ 2. 如何处理消费者组内的失败重试机制？ 3. Spring Boot的Kafka消费者如何实现流量控制？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值