MQ数据丢失的场景，如何避免消息丢失？

最新推荐文章于 2024-04-11 10:00:56 发布

我们一起搬砖吧

最新推荐文章于 2024-04-11 10:00:56 发布

阅读量256

点赞数

文章标签： rabbitmq 分布式 java

本文链接：https://blog.csdn.net/qq_44985699/article/details/132274621

版权

MQ msg消息丢失场景
1）生产者自己丢失数据
生产者发送mgs到MQ的broker中，突然网络等出问题，生产者宕机等，数据还没有到MQ存储，生产者就自己弄丢了。
2）MQ自己丢失
MQ接收存储数据中，queue还没有存储数据，出现了问题，导致数据没有持久化就丢失了。
3）消费者接收后丢失
消费者接收queue数据后，queue自动删除了数据，但是生产者处理数据的过程中，出现了问题，导致数据丢失
避免丢失的方法
1）对于生产者端丢失，有两种解决方案：开启事务、使用消息确认confirm机制（前者不推荐）
1.1 开启事务-同步
不推荐，RabbitMQ 事务是同步的，提交一个事务之后会阻塞在那儿，采用这种方式基本上吞吐量会下来，因为太耗性能。

     // 开启事务
channel.txSelect
try {
      // 这里发送消息
} catch (Exception e) {
      channel.txRollback
 
// 这里再次重发这条消息
 
}
// 提交事务
channel.txCommit

1.2 confirm机制-异步
confirm与mq的事务相反，是异步的，不会造成阻塞。
开启confirm（配置文件中写上）

  spring.rabbitmq.publisher-confirms=true
  spring.rabbitmq.publisher-returns=true

第一个是msg到broker成功后，会回调方法ack告知生产者接收成功。
第二个是queue接收出错，会调用方法告知生产者报错，重新发送。

2）对于MQ持久化存储过程中丢失（宕机等）
2.1 开启MQ持久化，mq默认数据存储到内存中，开启持久化数据保存到磁盘中，即使mq宕机重启数据仍然在。
mq持久化参考
https://blog.csdn.net/2301_78526383/article/details/131226350

3）对于消费者丢失
开启消费者手动确认，数据处理完成再confirm告知queue删除数据，失败则queue会重新发送

 spring.rabbitmq.listener.simple.acknowledge-mode=manual

关注