RabbitMQ解决消息幂等性问题--重复消费问题

最新推荐文章于 2024-08-03 23:28:23 发布

紫金小飞侠

最新推荐文章于 2024-08-03 23:28:23 发布

阅读量4.1k

点赞数 1

本文链接：https://blog.csdn.net/yangshengwei230612/article/details/105913074

版权

在这里插入图片描述

如果消费端程序业务逻辑出现异常消息会消费成功吗？

不会成功，默认一直重试。
rabbitmq 默认情况下如果消费者程序出现异常的情况下，会自动实现补偿机制(重试机制）是队列服务器发送补偿请求，不是生产者

充实实现原理：

@RabbitListener 底层使用Aop进行拦截，如果程序没有抛出异常，自动提交事务
如果Aop使用异常通知拦截获取异常信息的话，自动实现补偿机制，该消息会缓存到rabbitmq服务器端进行存放，一直重试到不抛异常为为止。

修改重试机制策略，默认是一直重试

在这里插入图片描述

spring:
  rabbitmq:
  ####连接地址
    host: 127.0.0.1
   ####端口号   
    port: 5672
   ####账号 
    username: guest
   ####密码  
    password: guest
   ### 地址
    virtual-host: /admin_host
    listener:
      simple:
        retry:
        ####开启消费者（程序出现异常的情况下会）进行重试
          enabled: true
         ####最大重试次数
          max-attempts: 5
        ####重试间隔次数
          initial-interval: 3000
        ####开启手动ack  
        acknowledge-mode: manual

消息重试机制幂等性

如何合适选择重试机制

情况1: 消费者获取到消息后，调用第三方接口，但接口暂时无法访问，是否需要重试? 需要重试

	 @RabbitListener(queues = "fanout_email_queue")
	 public void process(String msg) throws Exception {
	 System.out.println("邮件消费者获取生产者消息msg:" + msg);
	 JSONObject jsonObject = JSONObject.parseObject(msg);
	 String email = jsonObject.getString("email");
	 String emailUrl = "http://127.0.0.1:8083/sendEmail?email=" + email;
	 System.out.println("邮件消费者开始调用第三方邮件服务器,emailUrl:" + emailUrl);
	 JSONObject result = HttpClientUtils.httpGet(emailUrl);
	 // 如果调用第三方邮件接口无法访问，如何实现自动重试.
	 if (result == null) {
	 //抛出异常，mq会去根据配置重试
	 throw new Exception("调用第三方邮件服务器接口失败!");
	 }
	 System.out.println("邮件消费者结束调用第三方邮件服务器成功,result:" + result + "程序执行结束");

	 }

情况2: 消费者获取到消息后，抛出数据转换异常，是否需要重试? 不需要重试

	 @RabbitListener(queues = "fanout_email_queue")
	 public void process(String msg) throws Exception {
	 System.out.println("邮件消费者获取生产者消息msg:" + msg);
	 int i= 1/0;
	 }

总结：对于情况2，如果消费者代码抛出异常是需要发布新版本才能解决的问题，那么不需要重试，重试也无济于事。应该采用日志记录+定时任务job健康检查+人工进行补偿

消费者如果保证消息幂等性，不被重复消费

产生原因:网络延迟传输中，会造成进行MQ重试中，在重试过程中，可能会造成重复消费。

解决办法:

使用全局MessageID判断消费方使用同一个，解决幂等性。

生产端设置消息ID

消费端判断消息ID

基于全局消息id区分消息，解决幂等性

生产者:

请求头设置消息id（messageId）

@Component
public class FanoutProducer implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {
	// @Autowired
	// private AmqpTemplate amqpTemplate;
	@Autowired
	private RabbitTemplate rabbitTemplate;

	public void send(String queueName) {
		JSONObject jsonObject = new JSONObject();
		jsonObject.put("email", "644064779");
		jsonObject.put("timestamp", System.currentTimeMillis());
		String jsonString = jsonObject.toJSONString();
		System.out.println("jsonString:" + jsonString);
		// 生产者发送消息的时候需要设置消息id
		this.rabbitTemplate.setMandatory(true);
		this.rabbitTemplate.setConfirmCallback(this);
		this.rabbitTemplate.setReturnCallback(this);
		Message message = MessageBuilder.withBody(jsonString.getBytes())
				.setContentType(MessageProperties.CONTENT_TYPE_JSON).setContentEncoding("utf-8")
				.setMessageId(UUID.randomUUID() + "").build();

		rabbitTemplate.convertAndSend(queueName, message);
	}

消费者:

核心代码

	// MQ重试机制需要注意的问题
	// MQ消费者幂等性问题如何解决：使用全局ID

	 @RabbitListener(queues = "fanout_email_queue")
	 public void process(Message message, @Headers Map<String, Object>
	 headers, Channel channel) throws Exception {
	 String messageId = message.getMessageProperties().getMessageId();
	 String msg = new String(message.getBody(), "UTF-8");
	 System.out.println("邮件消费者获取生产者消息msg:" + msg + ",消息id:" + messageId);
	  // 重试机制都是间隔性，没并发性问题
	{
		判断messageId的消息是否被消费成功，如果成功直接return;
	}

	 JSONObject jsonObject = JSONObject.parseObject(msg);
	 String email = jsonObject.getString("email");
	 String emailUrl = "http://127.0.0.1:8083/sendEmail?email=" + email;
	 System.out.println("邮件消费者开始调用第三方邮件服务器,emailUrl:" + emailUrl);
	 JSONObject result = HttpClientUtils.httpGet(emailUrl);
	 // 如果调用第三方邮件接口无法访问，如何实现自动重试.
	 if (result == null) {
	 throw new Exception("调用第三方邮件服务器接口失败!");
	 }
	 System.out.println("邮件消费者结束调用第三方邮件服务器成功,result:" + result + "程序执行结束");

	 }

application.yml配置

spring:
  rabbitmq:
  ####连接地址
    host: 127.0.0.1
   ####端口号   
    port: 5672
   ####账号 
    username: guest
   ####密码  
    password: guest
   ### 地址
    virtual-host: /admin_host
    listener:
      simple:
        retry:
        ####开启消费者重试
          enabled: true
         ####最大重试次数
          max-attempts: 5
        ####重试间隔次数
          initial-interval: 3000

RabbitMQ签收模式(ack)

在SpringBoot中如果没有开启手动应答，SpringBoot在AOP中进行了自动自动应答签收
开启手动应答application.yml配置

在这里插入图片描述

	 @RabbitListener(queues = "fanout_email_queue")
	 public void process(Message message, @Headers Map<String, Object>
	 headers, Channel channel) throws Exception {
	 String messageId = message.getMessageProperties().getMessageId();
	 String msg = new String(message.getBody(), "UTF-8");
	 System.out.println("邮件消费者获取生产者消息msg:" + msg + ",消息id:" + messageId);
	 // 重试机制都是间隔性

	 JSONObject jsonObject = JSONObject.parseObject(msg);
	 String email = jsonObject.getString("email");
	 String emailUrl = "http://127.0.0.1:8083/sendEmail?email=" + email;
	 System.out.println("邮件消费者开始调用第三方邮件服务器,emailUrl:" + emailUrl);
	 JSONObject result = HttpClientUtils.httpGet(emailUrl);
	 // 如果调用第三方邮件接口无法访问，如何实现自动重试.
	 if (result == null) {
	 throw new Exception("调用第三方邮件服务器接口失败!");
	 }
	 System.out.println("邮件消费者结束调用第三方邮件服务器成功,result:" + result + "程序执行结束");
	 // 手动ack
	 Long deliveryTag = (Long) headers.get(AmqpHeaders.DELIVERY_TAG);
	 // 手动签收
	 channel.basicAck(deliveryTag, false);

	 }