如何保证消息不被重复消费

面试题

如何保证消息不被重复消费,也是所谓的幂等性?

面试官心理分析

这是MQ领域的一个最基本的问题,既然要消费消息,就需要考虑消息的幂等性问题。希望面试者可以从架构角度来考虑这个问题。

面试题剖析

回答这个问题,首先你听到这个问题,不能一无所知,要先大概说一说可能会出现哪些重复消费的问题。
首先,常见的MQ,比如Kafka,RabbitMQ,RocketMQ都有可能出现消息重复消费的问题,这很正常。因为这些问题通常不是由MQ保证的,而实由开发保证的。举一个Kafka的例子,说说怎么重复消费。
Kafka实际上有个offset的概念,就是每个消息写进去,都会有一个offset,代表消息的序号,然后consumer消费了数据之后,每隔一段时间,会把自己消费过的offset提交一下,表示“我已经消费过了”,下次重启之类的,就继续从我消费到的地方开始取。
但是可能会出现的场景就是,在还没有来得及提交offset的情况下,系统就挂掉了,下次重新启动,会有少量的已经消费过的数据出现。
其实重复消费并不可怕,可怕的是没有考虑重复消费之后,如何保幂等性
比如说,重复消费了,造成数据库中出现了多条同样的数据,这个时候数据就出问题了。但是如果在插入前先进行判断,如果数据库中已经存在了,就将消息丢掉,这样就保证了数据的一致性。
幂等性说白了就是无论接收到多少条重复的数据,得保证数据库中的数据不会发生变化,不能出错。
具体如何消费消息的幂等性,是需要结合业务的,以下有一些思路:

  • 比如需要写库的操作,先查一下数据库中有没有,如果有了就别再插入了,update一下。
  • 如果是操作redis,那没什么问题,redis的set是天然的幂等性。
  • 如果业务稍微复杂一点,就需要让生产者在生产的时候在消息中添加一条全局唯一的ID,类似于订单ID,拿到之后先去redis中查一下,没有则插入redis进行消费,有了丢弃。
  • 也可以基于唯一键进行插入,如果数据库中存在则会进行报错,并不会造成脏数据。
发布了16 篇原创文章 · 获赞 0 · 访问量 274
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览