RocketMQ消息丢失场景及解决办法(3)

本文详细分析了RocketMQ中可能导致消息丢失的三个场景,包括网络异常、异步刷盘和消费者确认消费。提出了使用事务机制、同步刷盘策略和消费者确认机制来确保消息不丢失。通过设置RocketMQ为同步刷盘并启用主从复制,以及避免在消费消息时开启子线程,可以有效防止消息丢失。
摘要由CSDN通过智能技术生成
  1. 场景1中生产者将消息发送给Rocket MQ的时候,如果出现了网络抖动或者通信异常等问题,消息就有可能会丢失
  2. 场景2中消息需要持久化到磁盘中,这时会有两种情况导致消息丢失
    ①RocketMQ为了减少磁盘的IO,会先将消息写入到os cache中,而不是直接写入到磁盘中,消费者从os cache中获取消息类似于直接从内存中获取消息,速度更快,过一段时间会由os线程异步的将消息刷入磁盘中,此时才算真正完成了消息的持久化。在这个过程中,如果消息还没有完成异步刷盘,RocketMQ中的Broker宕机的话,就会导致消息丢失
    ②如果消息已经被刷入了磁盘中,但是数据没有做任何备份,一旦磁盘损坏,那么消息也会丢失
  3. 消费者成功从RocketMQ中获取到了消息,还没有将消息完全消费完的时候,就通知RocketMQ我已经将消息消费了,然后消费者宕机,但是RocketMQ认为消费者已经成功消费了数据,所以数据依旧丢失了

那么如何保证消息的零丢失呢?

  1. 场景1中保证消息不丢失的方案是使用RocketMQ自带的事务机制来发送消息,大致流程为
    ①首先生产者发送half消息到RocketMQ中,此时消费者是无法消费half消息的,若half消息就发送失败了,则执行相应的回滚逻辑
    ②half消息发送成功之后,且RocketMQ返回成功响应,则执行生产者的核心链路
    ③如果生产者自己的核心链路执行失败,则回滚,并通知RocketMQ删除ha
  • 27
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值