【高频面试】RocketMQ如何保证消息不丢失(如何保证消息的可用性、可靠性)


【下述回答面试足矣,如果有其他问题,直接评论区问】


此问题将会从3个方面进行解答

生产者、borker、消费者这三个方面一一解答

一、生产者

1、消息同步发送:当一条消息发送完成后再发送下一条消息。如果中途消息发送失败,可以再次尝试发送(即消息重试)
2、分布式事务消息消息投递(这部分稍后会专门出一篇文章详细介绍他的流程)

注意:上述仅仅可以保证生产者将消息发布到MQ这个过程中消息不丢失

二、borker

1、选择同步刷盘,保证数据不丢失
如果保证这一步数据不丢失,则必须将数据同步至磁盘上面才算成功。因此解决这个问题的关键就是将数据刷入磁盘
消息在commit之后,仅仅是消息进入了这个你预定的Topic,可以被消费者看到,此时消费者暂时还没来得及去消费这条数据,恰好这条数据也处在os cache中。此时MQ宕机数据必然丢失。
接下来我们就要将数据刷盘:
异步模式
当数据进入到os cache就表示消息写入成功
同步模式
当数据进入到os cache后,写入到磁盘中才算消息写入成功
因此,选择用同步刷盘,可以保证消息不丢失(默认开启的为异步刷盘,需要配置)
2、borker主从架构
RocketMQ支持主从架构,它支持多个Master对多salve同步写入。当消息写入到Master borker后,基于DLedger技术和Raft协议的主从同步架构Slave Broker也会写入成功,保证数据有多个副本的冗余。

注意:上述仅仅可以保证MQ中borker消息不丢失

三、消费者

消费者在处理完数据的时候会提交这条消息的offset到broker,标记为已处理的状态。上述的过程可以在MessageListenerConcurrently(也有可能在其他的,根据业务需求来)中完成,所以此监听器中必须同步处理消息。当一条消息没处理完毕时是不会提交这条消息的offset到broker。即使消费者宕机,消息的offset未提交,当机器恢复时再次消费即可。

  • 18
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值