【下述回答面试足矣,如果有其他问题,直接评论区问】
此问题将会从3个方面进行解答
生产者、borker、消费者这三个方面一一解答
一、生产者
1、消息同步发送:当一条消息发送完成后再发送下一条消息。如果中途消息发送失败,可以再次尝试发送(即消息重试)
2、分布式事务消息消息投递(这部分稍后会专门出一篇文章详细介绍他的流程)
注意:上述仅仅可以保证生产者将消息发布到MQ这个过程中消息不丢失
二、borker
1、选择同步刷盘,保证数据不丢失
如果保证这一步数据不丢失,则必须将数据同步至磁盘上面才算成功。因此解决这个问题的关键就是将数据刷入磁盘
消息在commit之后,仅仅是消息进入了这个你预定的Topic,可以被消费者看到,此时消费者暂时还没来得及去消费这条数据,恰好这条数据也处在os cache中。此时MQ宕机数据必然丢失。
接下来我们就要将数据刷盘:
异步模式 :
当数据进入到os cache就表示消息写入成功
同步模式 :
当数据进入到os cache后,写入到磁盘中才算消息写入成功
因此,选择用同步刷盘,可以保证消息不丢失(默认开启的为异步刷盘,需要配置)
2、borker主从架构
RocketMQ支持主从架构,它支持多个Master对多salve同步写入。当消息写入到Master borker后,基于DLedger技术和Raft协议的主从同步架构Slave Broker也会写入成功,保证数据有多个副本的冗余。
注意:上述仅仅可以保证MQ中borker消息不丢失
三、消费者
消费者在处理完数据的时候会提交这条消息的offset到broker,标记为已处理的状态。上述的过程可以在MessageListenerConcurrently(也有可能在其他的,根据业务需求来)中完成,所以此监听器中必须同步处理消息。当一条消息没处理完毕时是不会提交这条消息的offset到broker。即使消费者宕机,消息的offset未提交,当机器恢复时再次消费即可。