Spring-RabbitMQ Consumer踩坑经历

最新推荐文章于 2024-05-01 10:42:58 发布
最新推荐文章于 2024-05-01 10:42:58 发布
阅读量3k 收藏
点赞数
文章标签： 大数据 java php
原文链接：https://juejin.im/post/5b94d290e51d450e8d762c37
版权

Spring-RabbitMQ Consumer踩坑经历

问题1: Consumer假死，无真正的消费能力

背景
spring-rabbit 版本变更至 1.6.2.RELEASE

现象
consumer数量正常，mq控制面板的 prefetch 参数始终是1， 消息无法正常ack, 队列处于假死状态 系统报异常org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException 

[2018-09-09 10:31:27.27]RuntimeException-org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException [ ERROR] [ Elog ]
Execution of Rabbit message listener failed. org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException: Listener threw exception
	at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.wrapToListenerExecutionFailedExceptionIfNeeded(AbstractMessageListenerContainer.java:870)
	at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:780)
	at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:700)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$001(SimpleMessageListenerContainer.java:95)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$1.invokeListener(SimpleMessageListenerContainer.java:187)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.invokeListener(SimpleMessageListenerContainer.java:1187)
	at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:681)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:1165)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:1149)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$1100(SimpleMessageListenerContainer.java:95)
	at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1312)
	at java.lang.Thread.run(Thread.java:748)
Caused by: org.springframework.amqp.AmqpIllegalStateException: No default listener method specified: Either specify a non-null value for the 'defaultListenerMethod' property or override the 'getListenerMethodName' method.
	at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.onMessage(MessageListenerAdapter.java:291)
	at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:777)
	... 10 more
复制代码

异常原因
rabbit:listener的ID 和 真实consumer的ID 冲突，导致真实的consumer Bean无效，找不到接受消息的方法，而rabbitmq在与clien端通信过程中发生异常，会停止消费。

<bean id="consumer_1" class="me.ele.Consumer1"/>
<rabbit:listener-container connection-factory="galaxyConnectionFactory" acknowledge="manual" concurrency="16" >
        <rabbit:listener queues="queue_1" ref="consumer_1" id="consumer_1" />
    </rabbit:listener-container>
复制代码

解决办法

删除rabbit:listener 的ID属性

问题2：consumer数量异常

背景
原服务有6个队列，每个队列起10个consumer, task-executor线程池设置为90, 后因数据量增加，发现消费能力不足，决定增加consumer数量，调整listener-container的concurrency为20，重启服务器。

现象
部分队列consumer数量不足，缺失项始终为xml中声明在后的队列

异常定位
回退concurrency参数为3异常消失，观察异常现场，发现consumer消失队列有先后顺序之分，且consumer数量存在上限值为90，猜测是收参数限制，检查配置参数如下：

    <bean class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor"
      id="taskExecutor">
        <!--核心线程数 -->
        <property name="corePoolSize" value="16"/>
        <!--最大线程数 -->
        <property name="maxPoolSize" value="16"/>
        <property name="queueCapacity" value="500"/>
        <!--线程池维护线程所允许的空闲时间 -->
        <property name="keepAliveSeconds" value="60"/>
        <!--线程池对拒绝任务(无线程可用)的处理策略 -->
        <property name="rejectedExecutionHandler">
            <bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy"/>
        </property>
        <property name="WaitForTasksToCompleteOnShutdown" value="true"/>
    </bean>
    
    <rabbit:listener-container connection-factory="monitorConnectionFactory" 
            acknowledge="manual" task-executor="taskExecutor" prefetch="10" concurrency="20">
        <rabbit:listener queues="queue_1" ref="consumer_1"/>
        <rabbit:listener queues="queue_2" ref="consumer_2"/>
        <rabbit:listener queues="queue_3" ref="consumer_3"/>
        <rabbit:listener queues="queue_4" ref="consumer_4"/>
        <rabbit:listener queues="queue_5" ref="consumer_5"/>
        <rabbit:listener queues="queue_6" ref="consumer_6"/>
    </rabbit:listener-container>
    
复制代码

异常原因
经排查对比，发现上限值与task-executor ThreadPoolTaskExecutor参数corePoolSize、maxPoolSize极为接近，查询相关资料发现，多个queue的consumer会共用taskExecutor的线程池数量，如果线程池数量不足，consumer无法创建

解决办法
增大task-executor corePoolSize和maxPoolSize的值为200，重启服务，解决。

总结

  1. 在spring容器管理中，ID是一个对象的引用，必须仅且只有一个无重复的ID, 包含Bean及其他自定义标签（如rabbit:listener）， 即使在不同文件也需要注意。
  2. 对共享bean的使用，需额外注意共享bean的资源分配。

转载于:https://juejin.im/post/5b94d290e51d450e8d762c37

weixin_34261415
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Springboot RabbitMq源码解析之consumer管理和AmqpEvent
翻身已碰头的博客
12-19 1517
Springboot RabbitMq源码解析之配置类 Springboot RabbitMq源码解析之消息发送 Springboot RabbitMq源码解析之消费者容器SimpleMessageListenerContainer 上一篇文章Springboot RabbitMq源码解析之消费者容器SimpleMessageListenerContainer主要讲了SimpleMessageLi...
RabbitMQ 消费者
zyppxx的博客
08-23 1507
消费者就是针对某个队列进行消息监听和消息消费的。消费者消费消息存在拉模式和推模式，推模式的是使用场景相对比较多。为确保消息被合法的消费，RabbitMQ提供了消费确认机制，投递的消息并不能被理解完成了消费，仅消费者确认消费该消息才会被移除队列。默认的消息投递机制时轮询，轮询的消息分发并会关系消费者的性能以及消息积压的问题，因此需要限制每个消费者所能保持的最大未确认的消息数量。
RabbitMQ之消费者并发消费
最新发布
CSDN_LiMingfly的博客
05-01 946
当生产者的推送速度是远远超过消费者的能力的，可以提高消费者的消费速度。比如在java中我们可以启动多个 JVM 进程，实现多进程的并发消费，从而加速消费的速度，在mq中也可以通过设置配置。Consumer 线程，负责从 RabbitMQ Broker 获取 Queue 中的消息，存储到内存中的 BlockingQueue 阻塞队列中。@RabbitListener 注解中，有 concurrency 属性，它可以指定并发消费的线程数。若需完整代码 可识别二维码后 给您发代码。
RabbitMQ如何查看某个队列的所有消费者【问题排查】
reggergdsg的博客
12-10 1万+
版本： spring-rabbit-1.6.10.RELEASE spring-boot-autoconfigure-1.3.7.RELEASE 使用RabbitMQ时，遇到了一个问题，发送消息以后，发现存在多个消费者，并且这个消费者并不是我写的Listener。 为了找到这个消费者的IP和端口，我需要查看当前这个队列有哪些消费者。 直接访问RabbitMQ管理界面http://localhost:15672，发现一个问题，就是有的消费者并不会显示到这里， 并且很多情况下，消费者列表都是空.
RabbitMQ(四) --消费者Consumer
知识点滴
09-18 4743
一：摘要概述 经过前面三篇文章的学习，对于RabbitMQ中间件应该处于拨开云雾见青天阶段。本文将趁热打铁，完善RabbitMQ基础应用最后一个消费版块。当然文中会持续深入讲解有关消息分发、消费端确认等中阶特性 二：消息消费 MQ队列可以理解为物品寄存中心，放进去总要拿出来用，一直放着没有利息还会持久增加成本引发系列问题。MQ存储的消息使用有两种途径，RabbitMQ服务推送、消费者客户端拉取 2...
RabbitMQ自定义Consumer
S-H_A-N
03-17 2010
在 使用RabbitMQ简单发送接收消息 一文中介绍了使用默认的转发器direct进行消息的发送和接收，在接收端可以看到使用了一个while循环来保证程序一直运行，当队列中有消息时接收消息，没有消息就等待：while (true) { //从consumer中获取队列中的消息,nextDelivery是一个阻塞方法,如果队列中无内容,则等待 ...
spring-rabbitMQ.xml文件
03-18
spring-rabbitMQ.xml文件
spring-cloud-steam-rabbitmq-demo.zip
05-30
本示例“spring-cloud-steam-rabbitmq-demo”将探讨如何使用Spring Cloud Stream与RabbitMQ进行集成，以构建一个高效、可靠的分布式系统。 Spring Cloud Stream 是一个框架，用于构建可复用的、松耦合的服务，这些...
spring-rabbitmq-chat:一个带有RabbitMQ后端的简单聊天应用程序
05-03
Spring RabbitMQ聊天 一个基于Spring Boot和RabbitMQ的简单聊天应用。 命令行界面 确保cli配置文件已打开。 您可以通过在命令行中传递不同的队列名称来生成多个聊天客户端： session1> ./gradlew -Dapp.settings....
spring-boot-mq-rabbitmq 一套打通rabbitmq 打开可用 有注释
04-08
spring.rabbitmq.host=your-rabbitmq-host spring.rabbitmq.port=your-rabbitmq-port spring.rabbitmq.username=your-username spring.rabbitmq.password=your-password ``` 或者使用YAML格式： ```yaml # ...
Spring-rabbitMQ整合消息队列RabbitMQ
11-15
Spring boot整合消息队列RabbitMQ
RabbitMQ：Consumers的介绍和使用
编程学习者的博客
05-14 4063
1.声明 当前内容用于本人学习和复习中，主要包括RabbitMQ中的Consumer的介绍和使用 当前内容来源：RabbitMQ官方 2.官方的Consumers介绍 Storing messages in queues is useless unless applications can consume them. In the AMQP 0-9-1 Model, there are two ways for applications to do this: 1.1. Have messages d
RabbitMQ并发消费者关键参数prefetch,concurrency
热门推荐
u014439693的博客
06-22 1万+
线上项目发生一次消息堆积问题,项目中使用的是rabbitmq,所以对rabbitmq的消息堆积问题进行了深入的了解,学习. 消息堆积的主要原因有以下几种: (1)消费者的速度大大慢于生产者的速度,速度不匹配引起的堆积 (2)消费者实例IO严重阻塞或者消费者所在服务器宕机 (3)消费者业务处理异常导致的消息堆积 项目中大部分使用@RabbitmqListener注解的方式处理业务代码中MQ的消费,这个注解用于监听指定的队列,如果containerFactory未指定,默认使用SimpleRabbitListe
RabbitMQ
dearand的博客
02-17 408
关于Rabbit MQ
rabbitmq批量确认结合qos导致的消费者假死和消息丢失问题
cyh的博客
02-01 1307
代码 项目使用的是springboot整合rabbitmq。其中消费者代码如下，用的是手动批量确认模式 @Slf4j @Component public class MessageListener { @RabbitListener(queues = "jack.queue") public void process(@Payload String message, @Header(AmqpHeaders.DELIVERY_TAG) long deliveryTag, Channel ch
RabbitMQ消费者无故中断问题{writer,send_failed,{error,timeout}}
weixin_34205076的博客
05-10 6079
2019独角兽企业重金招聘Python工程师标准>>> ...
rabbitmq 连接池_RabbitMQ 队列处理导致连接池耗尽假死问题排查处理
weixin_28876083的博客
01-23 1656
背景：监听器针对RabbitMQ队列做业务数据处理系统问题表现：业务系统无法正常使用，所有请求均不予相应，报404异常控制台问题表现：接收队列数据的logger日志打印，但是相关sql不打印(之前sql打印)报错异常：rabbitmq的web登陆页面访问异常，产生大量报错连接端口的日志，硬盘写满，系统崩溃解决方法如下：1、rabbitmq增加内存和硬盘限制(yum安装方式配置)mkdir /etc...
spring-rabbitmq 交换机绑定队列
05-12
在 Spring Boot 中使用 RabbitMQ 时，我们可以通过在配置文件中配置绑定关系，将交换机和队列进行绑定。具体步骤如下： 1. 在 application.properties 或 application.yml 中配置 RabbitMQ 连接信息： ``` spring.rabbitmq.host=localhost spring.rabbitmq.port=5672 spring.rabbitmq.username=guest spring.rabbitmq.password=guest ``` 2. 创建一个交换机和一个队列，并将它们绑定在一起： ``` @Configuration public class RabbitConfig { @Bean public Queue queue() { return new Queue("myqueue", true); } @Bean public DirectExchange exchange() { return new DirectExchange("myexchange"); } @Bean public Binding binding(Queue queue, DirectExchange exchange) { return BindingBuilder.bind(queue).to(exchange).with("mykey"); } } ``` 3. 在需要发送消息的地方，注入 RabbitTemplate 并调用 convertAndSend 方法： ``` @Autowired private RabbitTemplate rabbitTemplate; public void sendMessage(String message) { rabbitTemplate.convertAndSend("myexchange", "mykey", message); } ``` 4. 在需要接收消息的地方，注入 SimpleMessageListenerContainer 并实现 MessageListener 接口： ``` @Autowired private Queue queue; @Bean public SimpleMessageListenerContainer container(ConnectionFactory connectionFactory, MessageListenerAdapter listenerAdapter) { SimpleMessageListenerContainer container = new SimpleMessageListenerContainer(); container.setConnectionFactory(connectionFactory); container.setQueueNames(queue.getName()); container.setMessageListener(listenerAdapter); return container; } @Bean public MessageListenerAdapter listenerAdapter() { return new MessageListenerAdapter(new MyMessageListener()); } public class MyMessageListener implements MessageListener { @Override public void onMessage(Message message) { String body = new String(message.getBody()); System.out.println("Received message: " + body); } } ``` 通过以上步骤，我们就可以实现交换机和队列的绑定，以及在队列中发送和接收消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值