面试题——如何保证消息不被重复消费

面试题

如何保证消息不被重复消费，也是所谓的幂等性？

面试官心理分析

这是MQ领域的一个最基本的问题，既然要消费消息，就需要考虑消息的幂等性问题。希望面试者可以从架构角度来考虑这个问题。

面试题剖析

回答这个问题，首先你听到这个问题，不能一无所知，要先大概说一说可能会出现哪些重复消费的问题。
首先，常见的MQ，比如Kafka，RabbitMQ，RocketMQ都有可能出现消息重复消费的问题，这很正常。因为这些问题通常不是由MQ保证的，而实由开发保证的。举一个Kafka的例子，说说怎么重复消费。
Kafka实际上有个offset的概念，就是每个消息写进去，都会有一个offset，代表消息的序号，然后consumer消费了数据之后，每隔一段时间，会把自己消费过的offset提交一下，表示“我已经消费过了”，下次重启之类的，就继续从我消费到的地方开始取。
但是可能会出现的场景就是，在还没有来得及提交offset的情况下，系统就挂掉了，下次重新启动，会有少量的已经消费过的数据出现。
其实重复消费并不可怕，可怕的是没有考虑重复消费之后，如何保幂等性。
比如说，重复消费了，造成数据库中出现了多条同样的数据，这个时候数据就出问题了。但是如果在插入前先进行判断，如果数据库中已经存在了，就将消息丢掉，这样就保证了数据的一致性。
幂等性说白了就是无论接收到多少条重复的数据，得保证数据库中的数据不会发生变化，不能出错。
具体如何消费消息的幂等性，是需要结合业务的，以下有一些思路：

• 比如需要写库的操作，先查一下数据库中有没有，如果有了就别再插入了，update一下。
• 如果是操作redis，那没什么问题，redis的set是天然的幂等性。
• 如果业务稍微复杂一点，就需要让生产者在生产的时候在消息中添加一条全局唯一的ID，类似于订单ID，拿到之后先去redis中查一下，没有则插入redis进行消费，有了丢弃。
• 也可以基于唯一键进行插入，如果数据库中存在则会进行报错，并不会造成脏数据。