rocketMq之消息存储（八）

最新推荐文章于 2023-10-15 20:16:51 发布
最新推荐文章于 2023-10-15 20:16:51 发布
阅读量74 收藏
点赞数
分类专栏： MQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19831379/article/details/113780895
版权

因为有高可用的需求，所以要进行持久化存储

  • 消息存储

顺序写保证存储速度，是随机写的6000倍

  • 消息发送

使用零拷贝，省去内核态到用户态的转化，使用了零拷贝技术，底层使用MappedByteBuffer的api技术

  • 消息存储结构

  1. commitlog存储消息的元数据
  2. consumerQueue存储消息在commitlog的索引
  3. indexfile存储通过key或时间查询消息的办法，不影响主流程
  • 刷盘机制

由安全性和性能决定使用同步刷盘或异步刷盘

冥极醉醉冥极
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ系列3——消息存储
xiaodigua1024的博客
03-28 1652
数据持久化存储，当MQ收到一条消息后，需要向生产者返回一个ACK响应，并将消息存储到磁盘文件。MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。MQ需要定期删除一些过期的消息，这样才能保证服务一直可用。
RocketMQ之消息存储结构
戴着红领巾走世界
07-28 1009
RocketMQ的消息存储是由CommitLog和ConsumerQueue配合完成的。如下图： CommitLog 消息存储物理文件     从上图可以看出有两个非常重要的文件：CommitLog和ConsumerQueue。CommitLog是消息存储的日志数据文件，Producer 发送消息最终顺序写入到此文件中，并且CommitLog文件采用混合型存储（当前broker的所有Topic 下的消息队列共用同一个 CommitLog 的日志数据文件），并通过建立
RocketMQ之消息存储和查询原理
猎户星座
06-03 892
一、CommitLog CommitLog，消息存储文件，所有主题的消息都存储在 CommitLog 文件中。 我们的业务系统向 RocketMQ 发送一条消息，不管在中间经历了多么复杂的流程，最终这条消息会被持久化到CommitLog文件。 我们知道，一台Broker服务器只有一个CommitLog文件(组)，RocketMQ会将所有主题的消息存储在同一个文件中，这个文件中就存储着一条条Message，每条Message都会按照顺序写入。 也许有时候，你会希望看看这个 Commit..
RocketMQ（八）RocketMQ延时消息
热门推荐
weixiaohuai的博客
03-27 2万+
目录 一、什么是延时消息 二、延时消息等级 三、延时消息使用场景 四、延时消息示例 五、延时消息实现原理 一、什么是延时消息 当消息写入到Broker后，不能立刻被消费者消费，需要等待指定的时长后才可被消费处理的消息，称为延时消息。 二、延时消息等级 RocketMQ延时消息的延迟时长不支持随意时长的延迟，是通过特定的延迟等级来指定的。默认支持18个等级的延迟消息，延时等级定义在RocketMQ服务端的MessageStoreConfig类中的如下变量中： // MessageStor
详解RocketMQ消息存储原理
听得到微笑的博客
10-15 5811
RocketMQ存储的文件主要包括CommitLog文件、ConsumeQueue文件、Index文件。RocketMQ将所有topic的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。因为消息中间件一般是基于消息主题的订阅机制，所以给按照消息主题检索消息带来了极大的不便。为了提高消息消费的效率，RocketMQ引入了ConsumeQueue消息消费队列文件，每个topic包含多个消息消
RocketMQ的消息存储(二)
weixin_46217160的博客
04-23 382
RocketMq的消息存储介质 RocketMQ采用文件存储机制，即是选择磁盘文件来存储消息。消息刷盘至所部署虚拟机/物理机的文件系统来做持久化（刷盘一般可以分为异步刷盘和同步刷盘两种模式）。 如何保证消息的存储和发送的性能 ①消息存储-顺序写 RocketMQ的消息用顺序写,保证了消息存储的速度。磁盘如果使用得当，磁盘的速度完全可以匹配上网络 的数据传输速度。目前的高性能磁盘，顺序写速度可以达到600MB/s， 超过了一般网卡的传输速度。但是磁盘随机写的速度只有大概100KB/s，和顺序写的.
【RocketMQ】消息的存储设计
morris
07-21 1万+
RocketMQ因为有高可靠性的要求(宕机不丢失数据)，所以数据要进行持久化存储。所以RocketMQ采用文件进行存储。
RocketMQ消息存储
程序员劝退师的博客
01-18 802
前言 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除消息 存储介质 关系型数据库DB Apache下开源的另外一款MQ—
RocketMQ（十六）RocketMQ消息存储机制
weixiaohuai的博客
04-29 2040
目录 一、概述 二、CommitLog文件 三、ConsumerQueue消费逻辑队列 四、IndexFile索引文件 五、页缓存与内存映射 一、概述 RocketMQ中的消息存储在本地文件系统中，主要是由ConsumeQueue和CommitLog配合完成的，消息真正的物理存储文件是CommitLog，ConsumeQueue是消息的逻辑队列，类似数据库的索引文件，存储的是指向物理存储的地址。每个Topic下的每个Message Queue都有一个对应的ConsumeQueue文件。 来看
一张图进阶 RocketMQ - 消息存储
三此君的博客
07-21 534
三此君看了好几本书，看了很多遍源码整理的 一张图进阶 RocketMQ 图片链接，关于 RocketMQ 你只需要记住这张图。 今天主要聊一聊 RocketMQ 消息的存储：消息的存储结构，Broker启动流程，消息的存储流程等。...
RocketMQ分布式消息队列
09-11
消息堆积：Producer已经将消息发送到消息队列RocketMQ的服务端，但由于Consumer消费能力有限，未能在短时间内将所有消息正确消费掉，此时在消息队列RocketMQ的服务端保存着未被消费的消息，该状态即消息堆积。...
rocketmq推拉消息模式设计
09-05
rocketmq推消息模式分享，讲述了基本原理，消息与消息队列，长轮询，offset存储机制，消息异常重推机制的总体概述
rocketmq消息队列
08-05
3. 消息持久化：RocketMQ支持消息的持久化存储，即使在系统故障后，也能保证消息不丢失。 4. 顺序消息：对于对消息顺序有严格要求的应用，RocketMQ提供了一种保证消息全局有序的功能。 5. 分布式事务：RocketMQ支持...
java rocketmq--消息的产生（普通消息）
08-25
Java RocketMQ 消息生产（普通消息）相关知识点 DefaultMQProducer 的启动过程 在 Java RocketMQ 中，DefaultMQProducer 是一个重要的生产者类，负责生产和发送消息。在启动 DefaultMQProducer 之前，需要对其进行...
rocketmq消息中间件.zip
12-08
- **Broker**：消息服务器，存储和转发消息，是 RocketMQ 的核心组件。 - **Message Queue**：消息队列，消息实际存储的地方，每个队列对应 Broker 的一部分存储空间。 3. **RocketMQ 功能特性** - **高可用**：...
html css js网页设计
07-12
HTML、CSS和JavaScript是构建网页和网站的基本技术，它们共同工作来创建和设计用户界面。下面是关于这三种技术的详细介绍： ### HTML (HyperText Markup Language) - **定义**：HTML是构建网页内容的标准标记语言。 - **作用**：用于创建网页的结构和内容，如段落、链接、图片、表格等。 - **语法**：使用标签（如 `<p>`, `<div>`, `<a>`, `<img>` 等）来定义网页元素。 ### CSS (Cascading Style Sheets) - **定义**：CSS是一种样式表语言，用于描述HTML文档的呈现方式。 - **作用**：用于设置网页的布局、颜色、字体和其他视觉元素。 - **语法**：通过选择器（如 `p`, `.myclass`, `#myid` 等）应用样式规则。 ### JavaScript - **定义**：JavaScript是一种脚本语言，通常用于网页上实现交互功能。 - **作用**：允许网页与用户进行交互，如响应用户操作、动态更新内容、动画效果等。 - **语法**：Java
2023年数字乡村建设解决方案PPT(34页).pptx
最新发布
07-12
数字乡村建设解决方案旨在通过数字化转型促进乡村振兴和农业农村现代化。该方案强调了数字乡村建设的战略机遇，以"1+3+5"工程为总体框架，即一个大数据中心、三大服务平台和五类主题应用。方案着重于乡村治理、产业发展和公共服务三大问题，通过完善治理体系、升级治理能力、强化产业链条和改善资源配置来推动乡村全面振兴。 方案中提出的数字乡村大数据中心是信息资源的集散地，依托大数据、AI、物联网等新技术，实现数据驱动的决策支持。三大服务平台包括产业服务、民生服务和治理服务，旨在提升农业生产智能化、经营网络化，同时优化乡村治理结构和提升服务效能。五类主题应用覆盖生产管理、流通营销、行业监管、公共服务和乡村治理，通过具体业务应用体系，实现农业全产业链的数字化管理和服务。 预期建设效益包括通过信息技术促进乡村优势产业发展，形成城郊融合型数字乡村治理新模式，以及创新服务方式，提升服务能力，保障农民权益。整体而言，该方案以数字化为手段，推动乡村经济、治理、文化等多方面的全面升级和发展。
脉冲强光技术在灭菌烧结固化应用解决方案
07-12
脉冲强光技术在灭菌烧结固化应用解决方案，已经得到厂家授权，可以对外公示。
2024年欧洲辣椒素市场主要企业市场占有率及排名.docx
07-12
2024年欧洲辣椒素市场主要企业市场占有率及排名.docx
分布式开放消息系统(RocketMQ)的原理与实践.docx
09-14
其次，关于消息重复问题，RocketMQ采用了多副本存储和消息确认机制。每条消息都会被复制到多个Broker节点，提高容错性和可用性。当消费者消费完一条消息后，需要向Broker发送确认，只有当多数Broker接收到确认，消息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值