在研究解决这个问题前,要先搞清楚,rabbitmq在哪些环节会丢失消息。
生产者丢消息
这种情况一般就是生产者在向rabbitmq发送消息时发生网络故障等问题,导致消息丢失
解决方案有两种:
- 利用rabbitmq的事务消息机制,生产者在发送消息之前开启事务,如果rabbitmq没有收到消息,生产者会异常报错,此时可以回滚事务。但是因为事务消息是同步的,效率会比较低,一般不采用。
-
开启confirm模式,mq在收到消息后会回调生产者告知结果,confirm机制是异步的,比较推荐这种方案。
@PostConstruct public void initRabbitTemplate() { // 设置生产者消息确认 rabbitTemplate.setConfirmCallback(this::confirm); rabbitTemplate.setReturnsCallback(this::returnedMessage); } @Override public void confirm(CorrelationData correlationData, boolean ack, String cause) { log.info("message id {}",correlationData.getId()); if(!ack){ log.error("message id {} 未送达,cause {}", correlationData.getId(), cause); //TODO 相应补偿 } } @Override public void returnedMessage(ReturnedMessage returnedMessage) { log.info("returnedMessage is {}", returnedMessage.toString()); //TODO 补偿 }
rabbitmq丢失消息
消息还在mq的内存里时,mq发生宕机,导致消息丢失
解决方案就是配置持久化,包括exchange持久化:,queue持久化和message持久化:
exchange持久化:
@Bean
public DirectExchange demoExchanger() {
return new DirectExchange(RabbitConstant.EXCHANGE, true, false);
}
queue持久化:
@Bean
public Queue demoQueue() {
return new Queue(RabbitConstant.QUEUE, true);
}
springboot2.0以后,消息持久化是默认选项,就不用单独配置了。
消费者丢失消息
这个主要可能有三个原因
- mq发送消息给消费者,过程中网络异常
- mq发送消息给消费者,消费者在处理消息之前服务宕机
- 消费者在接收到消息处理过程中,发生异常或宕机
这些都是因为rabbitmq的自动ack机制,这里需要改成手动ack处理。
如果消息处理过程中发生异常,捕捉并退回消息的意义其实不是很大,因为一般这种情况都是消息数据问题,退回继续消费还是会异常,所以给队列配置死信队列,异常后确认失败并不把消息放回队列,消息会被放进死信队列,等待人工处理。
@RabbitListener(queues = RabbitConstant.QUEUE)
public void receive(MessageVo messageVo, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) long deliveryTag) {
try {
log.info("receive message : {}", JSONObject.toJSONString(messageVo));
if (messageVo.getMessage().startsWith("2")) { //通过发送的消息是否以2开头来模拟异常
System.out.println(1 / 0);
}
channel.basicAck(deliveryTag, false);
} catch (Exception e) {
log.error(e.getMessage());
try {
//消息确认失败后,requeue=false,消息不会放回队列,而是会发进入死信队列
channel.basicNack(deliveryTag, false, false);
} catch (IOException ex) {
ex.printStackTrace();
}
}
}