MQ–保证消息不被重复的消费
文章链接地址:
感谢前辈分享
https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/how-to-ensure-that-messages-are-not-repeatedly-consumed.md
消息的重复消费是我们在使用MQ的时候需要考虑的
那么什么时候能够被重复的消费呢?
比如说:
Kafka有一个offset的概念
,就是每一个消息写进去的时候,都有一个offset,代表消息的序号,然后consumer消费了数据之后,每隔一段时间,就会把消费过度额offset提交一下,表示我已经消费过了,下次我要是重启的话,就继续让我从上次消费的地方消费吧
但是总会出现意外,如果碰到着急的事情直接kiil了线程在重启的时候,有些地方consumer已经将消息处理了,但是还没来的及提交,这个时候重启之后少数的消息会再次消费一次。
其实重复消费不可怕,问题是重复消费之后怎么保证数据的幂等性
假设有一个系统,消费了一条消息就往数据库中插入一条数据,要是一个消息被重复的消费了两次,这样的话就插入了两条信息,这样数据就是错误了,但是如果我们消费第二次的时候自己判断一下是否已经消费过了,若是消费过了之后就直接冷掉,这样就保留了一条数据,从而保证了数据的正确性
通俗的说就是,一个数据或者一个请求,给你重复的来多次,确保其对应的数据不会改变,不能够出错。
怎么保证消息不被重复的消费?
如果要写数据库的话,可以先根据主键查一下,如果这数据都有了,你就别插入了,update 一下好吧。
比如你是写 Redis,那没问题了,反正每次都是 set,天然幂等性。
比如你不是上面两个场景,那做的稍微复杂一点,你需要让生产者发送每条数据的时候,里面加一个全局唯一的 id,类似订单 id 之类的东西,然后你这里消费到了之后,先根据这个 id 去比如 Redis 里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个 id 写 Redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可。
比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束了,重复数据插入只会报错,不会导致数据库中出现脏数据。