RabbitMQ/RocketMQ/Kafka 消息存储

RabbitMQ

 

1.RabbitMQ的消息堆积模式为内存(不是绝对的,当内存不足时会出现换页现象)。所以,在生产者发生消息至Exchange,Exchange根据规则将消息在复制到匹配的队列中,所以每个Queue拥有所有的消息。

2.Exchange/Queue/msg 都可以分为临时和永久的。这个需要根据业务设置持久化方式。

3.对于Queue中的每个消息,只能被一个消费者消费。且无法回溯。

RocketMQ

1.RocketMQ 的消息堆积模式为磁盘,堆积能力更强。 RocketMQ采用的单一的CommitLog文件进行消息存储(同一个broker的所有topic消息存储在一个文件)。同时通过consumeQueue 记录每个队列的消息的偏移量和物理地址。

2.commitLog生成规则:

    (1)文件的默认1G,超过这个值(或者其他因数),重新建一个日志

    (2)名字长度为20位,左边补零,剩余为起始偏移量。eg:

         00000000000000000000起始偏移量为0,

         00000000001073741824 起始偏移量为1073741824

3.consumeQueue规则:

     (1)名字长度为20位,左边补零,剩余为起始偏移量

     (2)每个Topic下的MessageQueue都会有一系列的ConsumeQueue文件, 在broker中的表现形式 dir/{topic}/{queueId}/{fileName},

     (3)每个ConsumeQueue文件保存30W条数据,大概每个文件5.72M(几乎可以完全被os缓存在内存cache中)。

4.记录格式

参考:https://www.cnblogs.com/zxporz/p/12336476.html

Kafka

1.Kafka 的消息堆积模式为磁盘,堆积能力更强。 相对RocketMQ,Kafka的消息存储通过分区实现,每个分区有一个log文件 同时还有两个索引文件(偏移量索引文件 和 时间索引文件)

 2.文件规则  

    (1)文件夹 topic-partition, 主体+分区号

    (2)每个topic-partition 下存在多个分段日志(将大日志切分),每个分段日志包含一个log文件+两个索引文件(偏移量索引文件+时间索引文件)

    (3)日志名称由20位数字组成(消息偏移量做为文件名)

           000000000000000000000.log //消息日志

           000000000000000000000.index  //偏移量文件

           000000000000000000000.timeindex  //时间偏量文件

4.偏移量文件与消息日志的文件映射关系

         

         能够快速查找消息的原因有:

        (1)偏移量文件保存是相对偏移量 + 消息日志的实际物理位置。

        (2)偏移量文件一般几兆的大小,可以完全加载到内存进行处理。

        (3)索引存储的偏移量是稀疏索引,可以通过范围查询和二分查快速定位消息的物理位置。

        (4) 无论是日志文件还是偏移量文件,系统都保持一定的大小,从而保证磁盘加载的速度。

 

Kafka与RocketMQ 存储的差异,对性能的影响

1.Kafka 每个分区的会有一个物理文件,而RocketMQ只有一个commitLog。

2.KafKa 这种存储方式,对于每个文件来说是顺序IO,但是当并发的读写多个partition的时候,对应多个文件的顺序IO,表现在文件系统的磁盘层面,还是随机IO。

3.当Topic数量增加时,消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。而RocketMQ所有的消息是保存在同一个物理文件中的,Topic和分区数对RocketMQ也只是逻辑概念上的划分,所以Topic数的增加对RocketMQ的性能不会造成太大的影响。

参考:http://jm.taobao.org/2016/04/07/kafka-vs-rocketmq-topic-amout/

总结

1.RabbitMQ 消息存储在内存

2.RocketMQ 消息存储在一个日志文件,队列只存储对应的消息偏移量

3.Kafka  消息分布存储在不同的分区,每个分区包含日志文件,偏移量文件及时间偏移量文件。

参考

1.狸猫技术窝 RocketMQ系列

2.《深入理解Kafka:核心设计与实践原理》

3.《RabbitMQ实战》

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读