RabbitMQ消息丢失解决方案之confirm实现

问题产生原因:
在这里插入图片描述
问题解决:
消息队列为了保证消息不会丢失,提供了两种确认机制:
1.RabbitMQ事务
RabbitMQ 提供的事务功能,就是生产者发送数据之前开启 RabbitMQ 事务channel.txSelect,然后发送消息,如果消息没有成功被 RabbitMQ 接收到,那么生产者会收到异常报错,此时就可以回滚事务channel.txRollback,然后重试发送消息;如果收到了消息,那么可以提交事务channel.txCommit。

// 开启事务
channel.txSelect()
try {
    // 发送消息
} catch (Exception e) {
    channel.txRollback()
    // 再次重发这条消息
}
// 提交事务
channel.txCommit

缺点
1.RabbitMQ 事务机制(同步)开启后,吞吐量会下来,因为太耗性能。
2.在实际开发过程中,有可能因为服务长时间宕机产生无限重发的情况,这块咱们可以设置重发次数。
2.confirm 模式
开启 confirm 模式,在生产者中设置开启 confirm 模式,每次发送的消息都会添加一个唯一的 id,然后如果写入了 RabbitMQ 中,RabbitMQ 会回传一个 ack 消息,告诉你说这个消息 ok 了。如果 RabbitMQ 没能处理这个消息,会回调一个 nack 接口,告诉你这个消息接收失败,你可以重试。而且你可以结合这个机制自己在内存里维护每个消息 id 的状态,如果超过一定时间还没接收到这个消息的回调,可以重发。
优点:
事务机制和 confirm 机制最大的不同在于,事务机制是同步的,提交一个事务之后会阻塞在那儿,但是 confirm 机制是异步的,发送个消息之后就可以发送下一个消息,然后那个消息 RabbitMQ 接收了之后会异步回调你的一个接口通知你这个消息接收到了。
所以一般在生产者这块避免数据丢失,都是用 confirm 机制的。

具体实现如下:
1.pom.xml

<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.4.release</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>5.0.2.RELEASE</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-test</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

2.application.properties

spring.application.name=spirng-boot-rabbitmq
spring.rabbitmq.addresses=127.0.0.1:5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
#开启确认机制
spring.rabbitmq.publisher-confirms=true
spring.rabbitmq.publisher-returns=true
spring.rabbitmq.template.mandatory=true

3.ConfirmApplication启动器类

@SpringBootApplication
public class ConfirmApplication {
    private static final String QUEUE="spring.publisher.sample";

    public static void main(String[] args) throws Exception{
        SpringApplication.run(ConfirmApplication.class,args);
        }
      }

4.TopicSender消息发送者

@Component
public class TopicSender implements RabbitTemplate.ConfirmCallback {

    private RabbitTemplate rabbitTemplate;

    public TopicSender(RabbitTemplate rabbitTemplate) {
        this.rabbitTemplate = rabbitTemplate;
        rabbitTemplate.setConfirmCallback(this);
    }

    public void send(){
        for (int i = 0; i <100 ; i++) {
            String context="hello,i am message"+i;
            System.out.println("sender:"+context);
            //生成唯一标识
            CorrelationData correlationData= new CorrelationData(UUID.randomUUID().toString());
            System.out.println("callbackSender UUID"+correlationData.getId());
            this.rabbitTemplate.convertAndSend("topicExchange","topic.messages",context,correlationData);

            try {
                Thread.sleep(2000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
    //消息确认
    @Override
    public void confirm(CorrelationData correlationData, boolean b, String s) {
        System.out.println("confirm:"+correlationData.getId()+",s="+s+",b:"+b);
    }
}

5.TopicReceiver消息接收者

@Component
@RabbitListener(queues = "topic.messages")
public class TopicReceiver {

    @RabbitHandler
    public void process(String message){
        System.out.println("Topic Receive:"+message);
    }
}

6.测试类

@RunWith(SpringRunner.class)
@SpringBootTest(classes = ConfirmApplication.class)
public class TopicTest {
    @Autowired
    private TopicSender sender;

    @Test
    public void topic() throws Exception{
        sender.send();
    }
}

7.运行测试类后的结果

sender:hello,i am message0
callbackSender UUID73208e77-95cb-4d64-8106-0ba2a445689e
confirm:73208e77-95cb-4d64-8106-0ba2a445689e,s=null,b:true
Topic Receive:hello,i am message0
sender:hello,i am message1
callbackSender UUID70d1aa75-0405-4093-8842-efaf8f448258
Topic Receive:hello,i am message1
confirm:70d1aa75-0405-4093-8842-efaf8f448258,s=null,b:true
sender:hello,i am message2
callbackSender UUID72290ae5-5449-4f2d-90e1-35e1c959104d
Topic Receive:hello,i am message2
confirm:72290ae5-5449-4f2d-90e1-35e1c959104d,s=null,b:true
sender:hello,i am message3
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于 RabbitMQ 消息丢失的问题,可以考虑以下几个方面来解决: 1. 持久化消息RabbitMQ 默认情况下将消息存储在内存中,如果 RabbitMQ 服务器重启或崩溃,未持久化的消息丢失。为了解决这个问题,可以将消息标记为持久化,确保消息在重启后能够恢复。在发送消息时,设置 `deliveryMode` 为 2,同时在队列声明时设置 `durable` 为 true。 2. 显式确认模式:使用显式确认模式可以确保消息被消费者正确处理后再进行确认,避免消息丢失。在消费者端,可以通过设置 `autoAck` 为 false,然后在处理完消息后手动调用 `basicAck` 方法进行消息确认。 3. 重试机制:当消息消费失败时,可以通过实现重试机制来避免消息丢失。可以在消费者端捕获异常,并将消息重新发送到队列中,设置一定的重试次数或延迟时间,确保消息最终被正确处理。 4. 死信队列(DLX):可以通过配置死信队列,将消费失败的消息发送到一个特定的队列中,然后对该队列进行处理。可以设置死信队列的参数,例如最大重试次数、过期时间等,以便更好地处理消费失败的消息。 5. 监控和日志:及时监控 RabbitMQ 的运行状态和日志,可以帮助发现和解决消息丢失的问题。通过监控工具或者自定义脚本,可以实时查看消息队列的状态、消费者的消费情况等,及时发现问题并进行处理。 以上是一些常用的解决 RabbitMQ 消息丢失问题的方法,根据具体的业务场景和需求,可以选择适合的方式进行处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值