文章目录
八、MQ 消息队列
1、场景作用
削峰填谷,异步解耦。
2、如何保证消息不被重复消费呢?
这个问题可以换个思路,保证消息重复消费,其实是保证程序的幂等性。无论消息如何重复,程序运行的结果是一致的。比如消费消息后做数据库插入操作,为了防止消息重复消费,可以在插入前先查询一下有没有对应的数据。
3、怎么保证从消息队列里拿到的数据按顺序执行?
消费端在接收到消息后放入内存队列,然后对队列中的消息进行有序消费。
4、如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决?
消息过期失效问题,如果消息一段时间不消费,导致过期失效了,消息就丢失了,只能重新查出丢失的消息,重新发送。 再来说消息积压的问题:(思路是快速消费掉积压的消息)
- 首先排查消费端问题,恢复消费端正常消费速度。
- 然后着手处理队列中的积压消息。
- 停掉现有的 consumer。
- 新建一个 topic ,设置之前 10 倍的 partation,之前 10 倍的队列。
- 写一个分发程序,将积压的消息均匀的轮询写入这些队列。
- 然后临时用 10 倍的机器部署 consumer,每一批 consumer 消费 1 个临时的队列。
- 消费完毕后,恢复原有架构。