前言
RabbitMQ如何防止重复消费的问题
一、什么是RabbitMQ重复消费
消息传输过程:生产者(Producer)-> MQ -> 消费者(Consumer)。在这个传输过程中有两个地方可能导致消息重复消费:
- 生产者(Producer)-> MQ这个过程。一条消息被多次发送给了MQ
- MQ -> 消费者(Consumer)这个过程中。虽然消息有消费确认机制,但是在确认消息消费这个过程中,网络发生延迟或者网络异常(服务中断)的情况,会导致确认消息没有发送到消息队列,导致重复投送
针对第一种场景,比较好控制,只要确保消息不要重复发送给MQ即可。重点是要解决第二种场景
二、什么是RabbitMQ消息确认机制
在正常情况下,一个消息被消费之后,会发送一个确认消息,消息队列收到后,就会把这个消息从队列中删除,防止重复消费。但是这个确认消息有可能在发送到消息队列的过程中异常,这样就有可能导致消息重复消费的情况。
三、如何防止RabbitMQ重复消费
队列消息永远都可能存在重复接收的问题,因此一定要做幂等防重处理
具体操作:发送消息的时候,生成一个唯一的消息id放入消息体中,根据这个唯一id就可以判断消息是不是同一条。消费者这边拿到消息解析出id之后,然后再使用redis分布式锁对该id进行加锁(这里使用Redis分布式锁,是因为它是非阻塞的高效率锁),然后基于状态机、或者流水表来做幂等(并且数据库一定要做好唯一性约束,防止前面可能出现问题,这里还能兜底一下)。最后执行更新操作更新数据库该消息状态。
四、总结
其实就是怎么解决接口幂等的问题,这里有以下几个关键点:
- 生成唯一key(作为分布式锁的key)
- 对唯一key加分布式锁(可以使用Redisson进行加锁)
- 数据库幂等判断(基于流水表或者状态机)
- 更新数据库
当然最后一个重要的点就是数据库一定要有唯一性约束,防止上面出现失败的情况下,数据库可以做一个兜底,防止数据出现问题