设计MQ的思路

本文探讨了分布式消息队列(MQ)的设计要点,包括如何通过扩展partition实现可伸缩性,利用顺序写保证数据持久性,以及采用多副本和leader-follower机制确保高可用性。同时,提到了实现数据零丢失的可能性。
摘要由CSDN通过智能技术生成

分布式

首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计一个分布式系统,参照一下kafka的设计理念,broker->topic->pratition,每个partition放一个机器,就存一部分数据。如果现在资源不够了,简单呀,给topic增加partition,然后做数据迁移,增加机器,不就可以存放更多的数据,提供更高的吞吐量

持久性

期次你得考虑一下这个mq的数据要不要落地磁盘吧?那肯定要了,落地磁盘才能保证进程挂了数据就丢了。那落磁盘的时候怎么落啊?顺序写,这样就没有磁盘随机读写的寻址开销,磁盘顺苏读写的性能是很高的,这就是kafka的思路。

可用性

期次你考虑一下你的mq的可用性啊?这个事儿,具体参考之前可用性那个环节讲解的kafka的高可用保障机制。多副本->leader&follower->broker挂了重新选举leader即可对外服务。

能不能支持数据0丢失啊?可用的,参考我们之前说的那个kakfa数据零丢失方案。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值