消息队列笔记二：消息积压，过期失效，设计MQ

1. 消息队列满了后该怎么处理？有几百万消息持续积压几小时

水平扩容增加 Consumer 的实例数量：

1. 先修复 consumer 的问题，确保其恢复消费速度，然后将现有 consumer 都停掉；
2. 新建一个 topic，partition 是原来的 10 倍，临时建立好原先 10 倍的 queue 数量；
3. 然后写一个临时分发数据的 consumer 程序，这个程序部署上去消费积压的数据，消费
   之后不做耗时的处理，直接均匀轮询写入临时建立好的 10 倍数量的 queue；
4. 接着临时征用 10 倍的机器来部署 consumer，每一批 consumer 消费一个临时 queue 的
   数据。这种做法相当于是临时将 queue 资源和 consumer 资源扩大 10 倍，以正常的 10 倍
   速度来消费数据；
5. 等快速消费完积压数据之后，恢复原先部署的架构，重新用原先的 consumer 机器来消
   费消息。

2. 如何解决消息队列的延时以及过期失效问题？

• 问题起因：如果用的是 RabbitMQ，RabbtiMQ 是可以设置过期时间的。如果消息在Queue 中积压超过一定的时间就会被 RabbitMQ 给清理掉。这时的问题就不是数据会大量积压在 MQ 里，而是大量的数据会直接丢失。这个情况下，就不是说要增加Consumer 消费积压的消息，因为实际上没什么积压，而是丢了大量的消息。
• 解决方案：批量重导。大量积压时，直接丢弃数据，等过了高峰期，写程序将丢失的那批数据一点一点的查出来，然后重新灌入 MQ 里，把丢的数据给补回来。

3. 如果让你写一个消息队列，该如何进行架构设计？

1. 首先这个MQ得支持可伸缩性，使它在需要的时候可以快速扩容，所以得设计个分布式系统，这里可以参考kafka的设计理念，就是broker，topic，partition，每个partition放一个机器，只存一部分数据，如果资源不够了，就给topic增加partition，然后做数据迁移，增加机器，于是就可以存放更多的数据了。
2. 要考虑mq的数据落地磁盘，来避免进程挂了的时候数据丢失。磁盘顺序读写的效率很高，所以可以采用顺序写的方式将数据落地磁盘。
3. 要考虑mq的可用性。比如参考kafka的理念，设置 partition 和 replica 机制，还有考虑消息的幂等性、可靠性、顺序性。 参考