RocketMQ的消息存储结构 高可用机制

最新推荐文章于 2024-08-04 21:30:00 发布
最新推荐文章于 2024-08-04 21:30:00 发布
阅读量143 收藏
点赞数
分类专栏： RocketMQ 文章标签： CommitLog Consume Queue 高可用 offset
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33348135/article/details/104127509
版权

CommitLog（消息内容文件）是以物理文件的形式就行存储，Consume Queue（存储offset的索引）存储消息在CommitLog中的位置信息

RocketMQ的消息存储方式：内存+磁盘存储

两种刷盘方式：

1.异步刷盘：生产者发送消息到消息服务器（Broker）,消息只是写到了内存里的pageCach中，然后就返回给生产者发送成功的信息，性能高，当消息占用一定的内存后，会触发一次顺序写机制，快速的将内存里的数据刷到磁盘上。

2.同步刷盘:生产者发送消息到消息服务器（Broker）,消息写到了内存里的pageCach后，请求线程阻塞，等到内存中的数据刷到磁盘上后，唤醒阻塞线程，然后就返回给生产者发送成功的信息。

Master-Slave 高可用  brokerid=0是Master节点 其他为从节点  

Master具有读写的功能，Slave只有只读功能

当Master繁忙或不可用时，可以自动切换到Slave读取消息

 

RocketMQ 消息存储机制分析
如切如磋，如琢如磨
08-26 3153
作为一个消息中间件，消息存储的效率直接影响到消息存取的效率，RocketMQ的单机吞吐量达到10w级别也和其存储设计有关，文本就对其进行一些探索。
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡
kingtok的博客
02-20 1427
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡一. 消息存储1. 存储介质2. 性能对比3. 消息的存储和发送1）消息存储2）消息发送4. 消息存储结构5. 刷盘机制1）同步刷盘2）异步刷盘3）配置二. 高可用性机制1. 消息消费高可用2. 消息发送高可用3. 消息主从复制1）同步复制2）异步复制3）配置4）总结三. 负载均衡1. Producer负载均衡2. Consumer负载均衡1...
RocketMQ消息存储的整体结构
Leon_Jinhai_Sun的博客
11-02 422
RocketMQ的消息存储采用的是混合型的存储结构，也就是Broker单个实例下的所有队列公用一个日志数据文件CommitLog。这个是和Kafka又一个不同之处。 为什么不采用kafka的设计，针对不同的partition存储一个独立的物理文件呢？这是因为在kafka的设计中，一旦kafka中Topic的Partition数量过多，队列文件会过多，那么会给磁盘的IO读写造成比较大的压力，也就造成了性能瓶颈。所以RocketMQ进行了优化，消息主题统一存储在CommitLog中。 当然，这种设...
RocketMQ 的消息存储机制
最新发布
FireFox1997
08-04 989
RocketMQ 的消息存储主要基于磁盘进行持久化，采用顺序写入的方式来提升写入性能。CommitLog：用于存储所有的消息内容，是消息存储的核心文件。：消息消费队列，是 CommitLog 的索引文件，记录消息在 CommitLog 中的偏移量和大小。IndexFile：消息索引文件，提供消息的快速检索功能。RocketMQ 的消息存储机制通过顺序写入、分区与文件分片、MappedFile 等技术，实现了高效的消息存储和读取。
RocketMQ的消息存储结构
张俊杰 的博客
10-30 694
文件的存储路径配置 broker.properties #存储路径 storePathRootDir=/app/rocketmq/store #commitLog 存储路径 storePathCommitLog=/app/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/app/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/app/rocketmq/store/index
RocketMQ--消息存储结构
dark
06-06 618
引用： https://www.jianshu.com/p/d06e9bc6c463 消息存储结构 RocketMQ消息的存储是由ConsumeQueue和CommitLog配合完成的： Commit Log，消息真正的物理存储文件是CommitLog,以物理文件的方式存放,所有消息内容全部持久化到这个文件中. Consume Queue：ConsumeQueue是消息的逻辑队列，类似数据库...
RocketMQ消息存储机制
qq_35597828的博客
06-30 1794
RocketMQ默认的消息存储路径在/root/store/生产者每次投递的消息都存储在commitLog文件里，再开启一个线程(ReputMessageService)异步的生成consumerQueue和indexFile消费者根据queueOffset到conumerQueue找到对应消息的commitLogOffset，再到commitLog文件中找到具体的消息并返回 可以将ConsumeQueue理解为CommitLog的索引，因为CommitLog存储了所有topic的消息，通过引入Consum
RocketMQ深度解析：消息存储、高可用与负载均衡
本文主要讨论了RocketMQ在消息存储、高可用性机制以及负载均衡方面的设计与实现。" 一、消息存储 1. 存储介质：RocketMQ采用文件系统作为存储介质，与关系型数据库DB相比，文件系统提供了更高的存储性能。特别是...
RocketMQ系列3——消息存储
xiaodigua1024的博客
03-28 1762
数据持久化存储，当MQ收到一条消息后，需要向生产者返回一个ACK响应，并将消息存储到磁盘文件。MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。MQ需要定期删除一些过期的消息，这样才能保证服务一直可用。
RocketMQ保证高可用和高性能的几种措施
uuqaz的博客
05-31 1964
整体架构 rocketmq是通过broker主从机制来实现高可用的。相同broker名称，不同brokerid的机器组成一个broker组，brokerId=0表明这个broker是master，brokerId>0表明这个broker是slave。 消息生产的高可用：创建topic时，把topic的多个message queue创建在多个broker组上。这样当一个broker组的master不可用后，producer仍然可以给其他组的master发送消息。 rocketmq目前还不支.
RocketMQ高级原理：深入剖析消息系统的核心机制
12-22
RocketMQ是阿里巴巴开源的一款高性能、高可用的消息中间件，广泛应用于互联网和企业级系统，提供稳定的消息传递服务。 一、基础概念 1. 消息模型（Message Model） RocketMQ基于Producer-Broker-Consumer模型，其中...
rocketmq 重复消费_消息队列 RocketMQ
weixin_39980929的博客
11-21 862
引言本文整理了RocketMQ的相关知识，方便以后查阅。 功能介绍简单来说，消息队列就是基础数据结构课程里“先进先出”的一种数据结构，但是如果要消除单点故障，保证消息传输的可靠性，并且还能应对大流量的冲击，对消息队列的要求就很高了。现在互联网“微架构”模式兴起，原有大型集中式的IT服务因为各种弊端，通常被分拆成细粒度的多个“微服务”，这些微服务可以在一个局域网内，也可能跨机房部署。一方面对服务之间...
RocketMQ的消息存储机制
m0_60424152的博客
03-09 219
RocketMQ是一款分布式消息中间件，它提供了高吞吐量、高可用性和可扩展性。为了保证消息的可靠性，RocketMQ采用了同步双写和异步刷盘的机制来存储消息。
云原生中间件RocketMQ-核心原理之消息存储结构解析
write less , do more
08-26 1760
从主流的几种MQ消息队列采用的存储方式来看，主要会有三种分布式KV存储：这种存储方式对于消息读写能力要求不高的情况可以使用，比如ActiveMQ中采用的levelDB。文件系统存储：这种方案适合对于有高吞吐量要求的消息中间件，因为消息刷盘是一种高效率，高可靠、高性能的持久化方式，除非磁盘出现故障，否则一般是不会出现无法持久化的问题。常见的比如kafka、RocketMQ、RabbitMQ都是采用消息刷盘到所部署的机器上的文件系统来做持久化。关系型数据库。...
详解RocketMQ消息存储原理
听得到微笑的博客
10-15 8368
RocketMQ存储的文件主要包括CommitLog文件、ConsumeQueue文件、Index文件。RocketMQ将所有topic的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。因为消息中间件一般是基于消息主题的订阅机制，所以给按照消息主题检索消息带来了极大的不便。为了提高消息消费的效率，RocketMQ引入了ConsumeQueue消息消费队列文件，每个topic包含多个消息消
RocketMQ架构原理解析：消息存储
qq_64513388的博客
12-16 236
一、概述 由前文可知，RocketMQ有几个非常重要的概念： broker 服务端，负责存储、收发消息 producer 客户端1，负责产生消息 consumer 客服端2，负责消费消息 既然是消息队列，那消息的存储的重要程度不言而喻，本节我们聚焦broker服务端，看下消息在broker端是如何存储的，它的落盘策略是怎样的，又是如何保证高效 另：后文的RocketMQ都是基于版本4.9.3 二、写入流程 RocketMQ的普通单消息写入流程如下 简单可以分为三大块： 写入前准备
云原生中间件RocketMQ-核心原理之高可用机制_rocketmq高可用原理
2301_76379606的博客
04-30 675
在创建Topic的时候，把Topic的多个Message Queue创建在多个Broker组上（相同Broker名称，不同brokerId的机器组成一个Broker组），这样既可以在性能方面具有扩展性，也可以降低主节点故障对整体上带来的影响，而且当一个Broker组的Master不可用后，其他组的Master仍然可用，Producer仍然可以发送消息的。有了自动切换Consumer这种机制，当一个Master角色的机器出现故障后，Consumer仍然可以从Slave读取消息，不影响Consumer程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

softwareDragon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值