如果让你写一个消息队列,该如何进行架构设计
我们可以从如下几个角度来考虑
- 首先mq得支持伸缩性,在需要的时候能快速扩容,就可以增加吞吐量和容量。可以参照kafa的设计理念,broker—>topic—>partition,每个partition放一个机器,就存一部分数据。如果资源不够了,就给topic增加partition,然后做数据迁移,增加机器。
- 其次mq的数据要落入磁盘,保证数据持久性。可以参考kafka的顺序写磁盘的思路
- 其次要考虑mq的可用性。可以参考kafka的高可用保障机制。多副本—>leader&follower—>broker挂了重新选举leader即可对外服务
- 数据0丢失,可以参考kafka零丢失的方案