总结kafka的consumer消费能力很低的情况下的处理方案

最新推荐文章于 2023-06-26 23:45:11 发布
最新推荐文章于 2023-06-26 23:45:11 发布
阅读量659 收藏
点赞数
文章标签： 大数据 php java
原文链接：https://my.oschina.net/cnarthurs/blog/855367
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

简介

由于项目中需要使用kafka作为消息队列，并且项目是基于spring-boot来进行构建的，所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本：

  • spring-boot 的版本是1.4.0.RELEASE
  • kafka 的版本是0.9.0.x 版本
  • spring-kafka 的版本是1.0.3.RELEASE

用过kafka的人都知道，对于使用kafka来说，producer的使用相对简单一些，只需要把数据按照指定的格式发送给kafka中某一个topic就可以了。本文主要是针对spring-kafka的consumer端上的使用进行简单一些分析和总结。

kafka的速度是很快，所以一般来说producer的生产消息的逻辑速度都会比consumer的消费消息的逻辑速度快。

具体案例

之前在项目中遇到了一个案例是，consumer消费一条数据平均需要200ms的时间，并且在某个时刻，producer会在短时间内产生大量的数据丢进kafka的broker里面（假设平均1s中内丢入了5w条需要消费的消息，这个情况会持续几分钟）。

对于这种情况，kafka的consumer的行为会是：

  • kafka的consumer会从broker里面取出一批数据，给消费线程进行消费。
  • 由于取出的一批消息数量太大，consumer在session.timeout.ms时间之内没有消费完成
  • consumer coordinator 会由于没有接受到心跳而挂掉，并且出现一些日志 
    [rhllor] Tue Oct 18 21:39:16 CST 2016 INFO [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator coordinatorDead 529: kafka-example|NTI|Marking the coordinator 2147483646 dead.
[rhllor] Tue Oct 18 21:39:16 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator sendGroupMetadataRequest 465: kafka-example|NTI|Issuing group metadata request to broker 1
[rhllor] Tue Oct 18 21:39:16 CST 2016 ERROR [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator handle 550: kafka-example|NTI|Error ILLEGAL_GENERATION occurred while committing offsets for group new-message-1
[rhllor] Tue Oct 18 21:39:16 CST 2016 WARN [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator onComplete 424: kafka-example|NTI|Auto offset commit failed: Commit cannot be completed due to group rebalance
[rhllor] Tue Oct 18 21:39:16 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator run 408: kafka-example|NTI|Cannot auto-commit offsets now since the coordinator is unknown, will retry after backoff
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator handleGroupMetadataResponse 478: kafka-example|NTI|Group metadata response ClientResponse(receivedTimeMs=1476797957072, disconnected=false, request=ClientRequest(expectResponse=true, callback=org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler@1d3d7e6, request=RequestSend(header={api_key=10,api_version=0,correlation_id=20,client_id=consumer-1}, body={group_id=new-message-1}), createdTimeMs=1476797956485, sendTimeMs=1476797956485), responseBody={error_code=0,coordinator={node_id=1,host=10.10.44.124,port=9092}})
[rhllor] Tue Oct 18 21:39:17 CST 2016 ERROR [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator handle 550: kafka-example|NTI|Error ILLEGAL_GENERATION occurred while committing offsets for group new-message-1
[rhllor] Tue Oct 18 21:39:17 CST 2016 WARN [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator maybeAutoCommitOffsetsSync 445: kafka-example|NTI|Auto offset commit failed: 
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator onJoinPrepare 247: kafka-example|NTI|Revoking previously assigned partitions [rhllor-log-0, rhllor-log-1, rhllor-log-2]
[rhllor] Tue Oct 18 21:39:17 CST 2016 INFO [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.springframework.kafka.listener.KafkaMessageListenerContainer onPartitionsRevoked 244: kafka-example|NTI|partitions revoked:[rhllor-log-0, rhllor-log-1, rhllor-log-2]
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator performGroupJoin 309: kafka-example|NTI|(Re-)joining group new-message-1
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator performGroupJoin 318: kafka-example|NTI|Issuing request (JOIN_GROUP: {group_id=new-message-1,session_timeout=15000,member_id=consumer-1-64063d04-9d4e-45af-a927-17ccf31c6ec1,protocol_type=consumer,group_protocols=[{protocol_name=range,protocol_metadata=java.nio.HeapByteBuffer[pos=0 lim=22 cap=22]}]}) to coordinator 2147483646
[rhllor] Tue Oct 18 21:39:17 CST 2016 INFO [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator handle 354: kafka-example|NTI|Attempt to join group new-message-1 failed due to unknown member id, resetting and retrying.
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator performGroupJoin 309: kafka-example|NTI|(Re-)joining group new-message-1
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator performGroupJoin 318: kafka-example|NTI|Issuing request (JOIN_GROUP: {group_id=new-message-1,session_timeout=15000,member_id=,protocol_type=consumer,group_protocols=[{protocol_name=range,protocol_metadata=java.nio.HeapByteBuffer[pos=0 lim=22 cap=22]}]}) to coordinator 2147483646
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator handle 336: kafka-example|NTI|Joined group: {error_code=0,generation_id=1,group_protocol=range,leader_id=consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2,member_id=consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2,members=[{member_id=consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2,member_metadata=java.nio.HeapByteBuffer[pos=0 lim=22 cap=22]}]}
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator performAssignment 225: kafka-example|NTI|Performing range assignment for subscriptions {consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2=org.apache.kafka.clients.consumer.internals.PartitionAssignor$Subscription@1dbca7d4}
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator performAssignment 229: kafka-example|NTI|Finished assignment: {consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2=org.apache.kafka.clients.consumer.internals.PartitionAssignor$Assignment@4826f394}
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator onJoinLeader 397: kafka-example|NTI|Issuing leader SyncGroup (SYNC_GROUP: {group_id=new-message-1,generation_id=1,member_id=consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2,group_assignment=[{member_id=consumer-1-d3f30611-5788-4b81-bf0d-e779a11093d2,member_assignment=java.nio.HeapByteBuffer[pos=0 lim=38 cap=38]}]}) to coordinator 2147483646
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.AbstractCoordinator handle 423: kafka-example|NTI|Received successful sync group response for group new-message-1: {error_code=0,member_assignment=java.nio.HeapByteBuffer[pos=0 lim=38 cap=38]}
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator onJoinComplete 191: kafka-example|NTI|Setting newly assigned partitions [rhllor-log-0, rhllor-log-1, rhllor-log-2]
[rhllor] Tue Oct 18 21:39:17 CST 2016 INFO [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.springframework.kafka.listener.KafkaMessageListenerContainer onPartitionsAssigned 249: kafka-example|NTI|partitions assigned:[rhllor-log-0, rhllor-log-1, rhllor-log-2]
[rhllor] Tue Oct 18 21:39:17 CST 2016 DEBUG [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-kafka-consumer-1] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator sendOffsetFetchRequest 581: kafka-example|NTI|Fetching committed offsets for partitions: [rhllor-log-0, rhllor-log-1, rhllor-log-2]
    日志的意思大概是coordinator挂掉了，然后自动提交offset失败，然后重新分配partition给客户端
  • 由于自动提交offset失败，导致重新分配了partition的客户端又重新消费之前的一批数据
  • 接着consumer重新消费，又出现了消费超时，无限循环下去。

解决方案

遇到了这个问题之后， 我们做了一些步骤：

  • 提高了partition的数量，从而提高了consumer的并行能力，从而提高数据的消费能力
  • 对于单partition的消费线程，增加了一个固定长度的阻塞队列和工作线程池进一步提高并行消费的能力
  • 由于使用了spring-kafka，则把kafka-client的enable.auto.commit设置成了false，表示禁止kafka-client自动提交offset，因为就是之前的自动提交失败，导致offset永远没更新，从而转向使用spring-kafka的offset提交机制。并且spring-kafka提供了多种提交策略： 
    /**
   * The ack mode to use when auto ack (in the configuration properties) is false.
   * <ul>
   * <li>RECORD: Ack after each record has been passed to the listener.</li>
   * <li>BATCH: Ack after each batch of records received from the consumer has been
   * passed to the listener</li>
   * <li>TIME: Ack after this number of milliseconds; (should be greater than
   * {@code #setPollTimeout(long) pollTimeout}.</li>
   * <li>COUNT: Ack after at least this number of records have been received</li>
   * <li>MANUAL: Listener is responsible for acking - use a
   * {@link AcknowledgingMessageListener}.
   * </ul>
   */
  private AbstractMessageListenerContainer.AckMode ackMode = AckMode.BATCH;
    这些策略保证了在一批消息没有完成消费的情况下，也能提交offset，从而避免了完全提交不上而导致永远重复消费的问题。

分析

那么问题来了，为什么spring-kafka的提交offset的策略能够解决spring-kafka的auto-commit的带来的重复消费的问题呢？下面通过分析spring-kafka的关键源码来解析这个问题。

  • 首先来看看spring-kafka的消费线程逻辑

    if (isRunning() && this.definedPartitions != null) { 
    initPartitionsIfNeeded();      
// we start the invoker here as there will be no rebalance calls to       
// trigger it, but only if the container is not set to autocommit       
// otherwise we will process records on a separate thread      
   if (!this.autoCommit) {        
          startInvoker();     
   }
}

    上面可以看到，如果auto.commit关掉的话，spring-kafka会启动一个invoker，这个invoker的目的就是启动一个线程去消费数据，他消费的数据不是直接从kafka里面直接取的，那么他消费的数据从哪里来呢？他是从一个spring-kafka自己创建的阻塞队列里面取的。

  • 然后会进入一个循环，从源代码中可以看到如果auto.commit被关掉的话， 他会先把之前处理过的数据先进行提交offset，然后再去从kafka里面取数据。

  • 然后把取到的数据丢给上面提到的阻塞列队，由上面创建的线程去消费，并且如果阻塞队列满了导致取到的数据塞不进去的话，spring-kafka会调用kafka的pause方法，则consumer会停止从kafka里面继续再拿数据。

  • 接着spring-kafka还会处理一些异常的情况，比如失败之后是不是需要commit offset这样的逻辑。

最后

  • spring-kafka是一个很好的用来操作kafka的库，并且可以和spring进行完美结合。
  • spring-kafka提供了一些kafka使用上功能的扩展。
  • 相比于使用原生的kafka-client的api的话，使用更加简单，需要编写的码量更少。
  • 最好能够使用最新的kafka（0.10.0）和spring-kafka（1.1.1.RELEASE）的版本

转载于:https://my.oschina.net/cnarthurs/blog/855367

weixin_34378922
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka设计解析（五）-KafkaConsumer设计解析
02-25
本文是系列文章的第4篇，第一篇"第二篇第三篇第四篇本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup，ConsumerRebalance，LowLevelConsumer实现的语义，和适用场景。以及未来版本中对HighLevelConsumer的重新设计——使用ConsumerCoordinator解决SplitBrain和Herd等问题。很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，KafkaHightL
Kafka没有即时消费数据 并且频繁出现自动负载均衡下线上线消费实例的现象
zhangjiaxx的博客
08-13 1846
问题分析： 1.由于客户反馈实时监控，会出现延迟10秒左右的样子，经过排查实例日志没有发现任何报错；消费者实例所在机器不存在负载过高的情况，处理逻辑的下游和上游也没有出现性能瓶颈； 2.查看kafkaManager跟踪kafka消费实例的实时lag值；发现会循环的出现消费完全之后挤压四五百条然后又消费完全的情况，同时出现消费者实例频繁切换的情况； 3.由于没找到原因又继续 tail -f 消费者的实例的日志（每当收到数据时打印下日志）同时查看Lag值；发现每当挤压四五百条时，就会出现停止打印接收数据的
使用java操作kafka订阅新增Topic踩坑
weixin_43956650的博客
04-02 5039
我面对的场景是：需要动态的订阅新增的topic。即在程序运行的时候轮询查看kafka服务器查看是否有符合规则的新的topic，如果有的话，把它加入到订阅列表。 第一种是使用spring-kafka自带注解 @KafkaListener的topicPattern参数，这里传入合适的正则表达式。然后程序本身就会去轮询（网上有代码使用，说测试的轮询时间是2min,但是我测试是5min,目前还没找到修改时间的地方）。这个正则跟普通要求的正则不太一样，比如不能使用* 开头。 //匹配 以test开头的topic,
Kafka初识
Lupu's journey - 生活、分享
07-03 333
1. Kafka概念 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。 生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。 一般在架构设计中起到解耦、削峰、异步处理的作用。最大的特性就是可以实时的处理大量数据以满足各种需求场景 1.1 重要术语 Broker：Kafka 集群包含一个或多个服务器，这种服务器被称为 broker（中间人，代理人） Topic...
kafka消费者分组的时候，分区现象
qq_33642970的博客
06-19 8643
首先创建Consumer需要的配置信息，最基本的有五个信息： Kafka集群的地址。 发送的Message中Key的序列化方式。 发送的Message中Value的序列化方式。 指定Consumer Group。 指定拉取Message范围的策略。 Properties properties = new Properties(); properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "IP:Port"); proper
Kafka Replication的简单测试
zhangs_123的博客
04-28 2160
Kafka Replication的简单测试
springboot + @KafkaListener 手动提交及消费能力优化
aobu6374的博客
01-09 1804
转载https://blog.csdn.net/asd5629626/article/details/82776450https://blog.csdn.net/asd5629626/article/details/82746771 spring-boot 版本 1.5.12 依赖使用spring-kafka1.3.3（对应kafka-clients版本0.11.0.0，请使用...
kafkaConsumerDemo.zip
04-24
这是使用java操作kafka consumer api的一个demo，欢迎下载交流，博客地址：https://blog.csdn.net/qq_26803795
kafkaconsumer
03-27
卡夫卡消费者Scala演示的消费者
disruptor-kafka-consumer:基于React流的卡夫卡消费者
04-30
卡夫卡消费者的破坏者演示如何在Kafka 0.9 Consumer上使用LMAX Disruptor 好处->一旦先前的使用者完全处理完消息，便可以使用序列屏障来提交消息。想象力是极限。如果环形缓冲区可以容纳在L3缓存中，则处理速度会更...
RdKafka::KafkaConsumer使用实例
08-11
研究了一段时间后，根据网上的例子，做大量的削减及根据需要做出的最简化使用实例，并且加入了获取kafka的server端的状态信息，根据状态信息配置启动时读写位置
Kafka重复消费以及消费线程安全关闭的解决方案
燎原君的博客
02-03 2507
Kafka重复消费以及消费线程安全关闭的解决方案
多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)
最新发布
zhangbeizhen18的博客
06-26 8940
记录：466 场景：一个KafkaProducer在一个Topic发布消息，多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup，达到一条消息被多个不同的ConsumerGroup消费。
Apache Kafka-通过concurrency实现并发消费
热门推荐
小工匠
02-18 1万+
文章目录概述CodePOM依赖配置文件生产者消费者单元测试测速结果源码地址 概述 我们要发送的 Code POM依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> &l
spring-kafka之@KafkaListener单条或批量处理消息
持之以恒
05-09 4459
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言消息监听容器1、KafkaMessageListenerContainer2、ConcurrentMessageListenerContainer@KafkaListener底层监听原理1.引入库2.读入数据生产配置1、单条消息处理2、批量处理3、同一个消费组支持单条和批量处理场景：Spring Boot 自动加载kafka相关配置只对部分topic做批量消费处理总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着
Kafka 数据重复怎么办？（案例）
BASK2312的博客
12-05 3321
通常，消息消费时候都会设置一定重试次数来避免网络波动造成的影响，同时带来副作用是可能出现消息重复。整理下消息重复的几个场景：先来了解下消息的三种投递语义：了解了这三种语义，再来看如何解决消息重复，即如何实现精准一次，可分为三种方法：1） 幂等性 幂等性使用示例：在生产端添加对应配置即可 设置幂等，启动幂等。 配置 ，注意：一定要设置 ，否则会抛异常。 配置 需要 ，否则会抛异常 。 , , 为了更好理解，需要了解下 幂等机制：这种设计针对解决了两个问题：那什么时候
php rdkafka实例,php使用rdkafka进行消费
weixin_42400669的博客
03-09 1449
如仅作为消费者或生产者，直接使用下面消费者或生产者的代码，并安装扩展即可。PHP要安装rdkafka扩展，而rdkafka又依赖librdkafka，因此你需要安装rdkafka和librdkafka，之后就可以与kafka服务器交互了。消费者/*** 代码中的输出注释都可以打开供调试使用* 对 中台生产的 用户信息 进行消费* Date: 2019/7/31*/// 设置将要消费消息的主题$t...
kafka 重复消费场景及解决方案
u_geek的博客
02-11 3549
1、与消费者有关的重要参数 在讨论重复消费之前，首先介绍一下kafka中几个跟消费有关的配置参数。 enable.auto.commit 默认值true，表示消费者会周期性自动提交消费的offset auto.commit.interval.ms 在enable.auto.commit 为true的情况下，自动提交的间隔，默认值5000ms max.poll.records 单次poll，...
【Kafka踩坑系列之二】无限循环消费数据
weixin_30340775的博客
09-30 1596
一、Bug背景 业务上线后，发现Kafka的消费者一直在重复拉取同一批数据。被消费的topic配置了10个分区，只有每个分区的第一批数据能够出队，并且无限循环。 因测试环境数据量比较小，一直无法复现问题。只能查生产环境的日志排查。 二、解决问题的思路 初步猜测数据被消费之后，没有正常commit到Kafka服务端，导致Topic分区offset再消费完毕后未进行更新，下次取数据...
kafkaconsumer多线程消费
04-29
Kafka是一种高效的消息队列系统，其中包含了KafkaConsumer多线程消费的机制。在多线程消费时，KafkaConsumer可以通过创建多个消费者线程来并行消费消息，并且每个消费者线程可以处理不同的分区的消息，这样可以大大提高消息消费的性能。 具体的实现方法是，KafkaConsumer先创建一个消费者线程池，然后在线程池中创建多个消费者线程，并通过多线程的方式同时订阅不同的分区或主题，每个线程可以处理多个分区或主题的消息。当有新的消息到达时，线程池中的消费者线程会立即通过poll方法获取消息。 此外，在多线程消费时需要注意以下几点： 1. 线程数不宜过多：如果创建太多的线程会导致KafkaConsumer处理能力下降，可能会导致KafkaConsumer和服务之间的连接断开。 2. 分区负载均衡：多线程消费需要保证每个消费者线程平均分配分区，避免某些线程负载过重。 3. 消息的可靠性：多线程消费需要注意消息的处理顺序和幂等性，保证消息不会被重复处理或漏处理。 总之，KafkaConsumer多线程消费可以提高消息处理效率，但实现过程需要注意相关问题，使消费者线程能够平衡分配分区，并且避免消息处理顺序和幂等性带来的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值