RocketMq存储管理分析

最新推荐文章于 2024-07-13 13:55:40 发布
最新推荐文章于 2024-07-13 13:55:40 发布
阅读量202 收藏
点赞数
分类专栏： rocketMq 文章标签： 队列 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh991993144/article/details/105266711
版权
1、生产者发送消息给mq2、mq将消息持久化存储到存储系统3、mq发送ack给生产者4、mq将消息推送给消费者5、消费者发送ack给mq6、mq将消息从存储系统中删除存储介质1、关系型数据库DB2、文件系统文件系统如何保证读写速度1、写需要顺序写2、读需要零拷贝，Java中通过MappedByteBuffer实现零拷贝（一次只能映射1.5G-2G文件至用户态的虚拟内存，所以...
摘要由CSDN通过智能技术生成

在这里插入图片描述
1、生产者发送消息给mq
2、mq将消息持久化存储到存储系统
3、mq发送ack给生产者
4、mq将消息推送给消费者
5、消费者发送ack给mq
6、mq将消息从存储系统中删除

存储介质
1、关系型数据库DB
2、文件系统

文件系统如何保证读写速度
1、写需要顺序写
2、读需要零拷贝，Java中通过MappedByteBuffer实现零拷贝（一次只能映射1.5G-2G文件至用户态的虚拟内存，所以RocketMq默认设置单个CommitLog日志数据文件为1G的原因）
在这里插入图片描述
零拷贝绕过了将数据拷贝到用户态的步骤，直接将数据拷贝到网络驱动内核

rocketMq存储结构

最低0.47元/天 解锁文章
清_清
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ存储文件浅析
qq_38957252的博客
08-15 446
最近公司要求将所有的ActiveMQ迁移到RocketMQ，阅读了RocketMQ的官方文档和部分源码，将自己的了解记录一下。 众所周知，RocketMQ分为四个部分，nameServer，broker，producer，consumer。 nameServer是注册中心，负责服务发现，路由信息存储和变更，broker负责存储消息，producer发送消息，consumer消费消息。 本次主要说明broker如何存储和查询消息 broker主要使用三个文件来存储消息，commitLog，consum
【RocketMQ消息存储】索引文件+PageCache+模型图示+为何RocketMQ默认设置单个CommitLog日志数据文件为1G？
qfzhangwei的专栏
10-13 1806
1 【IndexFile】（索引文件）则只是为了消息查询提供了一种通过key或时间区间来查询消息的方法（ps：这种通过IndexFile来查找消息的方法不影响发送与消费消息的主流程）。 2【PageCache】 page cache的概念。系统的所有文件I/O请求，操作系统都是通过page cache机制实现的。对于操作系统来说，磁盘文件都是由一系列的数据块顺序组成，数据块的大小由操...
解决rocketmq客户端日志比较大的问题
运维@小兵的博客
04-02 3131
java程序使用mq，会默认在启动程序用户的home路径下创建logs目录(如/root/logs)，用于保存mq客户端的日志，由于该日志比较多，又没什么用，因此可以在启动jar包时做相关配置 java -jar -Drocketmq.client.logUseSlf4j=true -Drocketmq.client.logLevel=error app.jar 参数说明： -Drocketmq.client.logUseSlf4j=true #启用slf4j -Drocketmq.client.log
RocketMQ知识详解
HardyZhan的博客
02-05 928
涉及RocketMQ的消息存储结构、工作过程、事务消息实现机制、延时消息实现原理等
docker(9) : 限制容器日志
Lxinccode的博客
03-23 780
参考 :【docker】docker限制日志文件大小的方法+查看日志文件的方法 - Angel挤一挤 - 博客园 下面两个方法都可以 创建容器时限制 docker run -d --name=rocketmq \ --log-opt max-size=10m \ --log-opt max-file=3 \ --restart=always \ -v /home/log:/${logfile_path} \ ..
RocketMQ系列之高性能应用-顺序写盘
qq_38377525的博客
03-05 575
RocketMQ系列之高性能应用-顺序写盘
rocketmq-console后台管理jar包
10-26
RocketMQ Console还支持自定义插件开发，用户可以根据需求扩展更多功能，例如集成日志分析、报警通知等。 总之，RocketMQ Console是RocketMQ生态系统的重要组成部分，为管理和监控RocketMQ提供了极大的便利。正确...
rocketmq 全套管理后台源码
11-07
4. **Model 分析**：查看 Model 类，了解 RocketMQ 管理后台如何表示和存储系统数据。 5. **Repository 分析**：研究如何与 RocketMQ 的 NameServer 或 Broker 进行通信，获取或设置数据。 6. **前端界面**：理解...
RocketMQ黑马笔记
06-08
RocketMQ的消息轨迹主要包括消息轨迹数据的存储、查询、分析等方式。这些方式对消息的可靠性和可用性有很大的影响。 RocketMQ是一种功能强大、灵活、可靠的消息中间件，能够满足不同应用场景的需求。
rocketmq-console.rar
12-10
1. **集群监控**：RocketMQ Console可以展示各个Broker的运行状态，包括在线的Broker数量、每个Broker的存储容量、消息发送和消费的速率等关键指标。 2. **主题与队列管理**：用户可以通过界面创建、删除和修改...
rocketmq-dashboard.zip
12-10
RocketMQ Dashboard 是一个基于Web的监控和管理工具，主要用于阿里巴巴开源的分布式消息中间件RocketMQ。RocketMQ是一款高效、稳定、可伸缩的分布式消息系统，广泛应用于大数据、实时计算、微服务等领域。RocketMQ ...
图文并茂，深入了解RocketMQ的内存映射机制
欢少的成长之路的博客
05-13 497
大家好，我是Leo。 今天聊一下RocketMQ的内存映射机制 传统文件IO机制 假如没有使用mmap技术的时候，使用最传统和基本普通文件进行io操作会产生数据多拷贝问题。 比如从磁盘上把数据读取到内核IO缓冲区里面，然后再从内核IO缓冲区中读取到用户进程私有空间里去，然后我们才能拿到这个数据。 如上图显示，可以明显的看出数据被拷贝了两次，这样肯定对磁盘读性能是有影响的。同样的如果想给磁盘中写内容，也是得先从用户进程的私有空间把数据拷贝到内核IO缓冲区，然后从内核IO缓冲区再拷贝到磁盘文件。
源码分析RocketMQ之Broker-内存映射刷盘流程
liangshf520的博客
06-26 341
源码分析RocketMQ之Broker-内存映射刷盘流程
RocketMQ之消息存储管理
诗人不写诗
03-06 748
我们知道RocketMQ的queue都是逻辑上的概念，实际消息都是写入文件来管理的，达到了操作queue的表象，下面就RocketMQ管理消息操作文件的思路做个讲解。RocketMQ主要有6类文件，小文件有3类：checkpoint文件，config目录下的配置文件，abort文件，大文件有3类：Index文件，ConsumeQueue文件，CommitLog文件。Broker操作...
rocketmq内存不足
奋斗不息
05-23 5956
There is insufficient memory for the Java Runtime Environment to continue. There is insufficient memory for the Java Runtime Environment to continue. Native memory allocation (mmap) failed to map 8...
RocketMq使用经验总结
kris
07-01 2315
RocketMq简介 基本概念 Produce 消息生产者，负责产生消息，一般由业务系统负责产生消息。 Consumer 消息消费者，负责消费消息，一般是后台系统负责异步消费。 Push Consumer Consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立刻回调Listener接口方法。 Pull Consumer Consum...
对战 | RabbitMq 大战 kafka
mySoul
10-19 400
Hi! 我是小小，我们今天又见面了，今天主要内容是从十七个方面对比kafka，rabbitmq，zeromq，rocketmq，activemq，更加方便你的技术选型哦！资料文档kafa...
Elsaticsearch java基本操作
最新发布
qq_62383709的博客
07-13 470
索引 基本操作 package com.orchids.elasticsearch.web.controller; import cn.hutool.core.collection.CollUtil; import cn.hutool.json.JSONUtil; import com.orchids.elasticsearch.web.po.User; import io.swagger.annotations.Api; import io.swagger.annotations.ApiOperatio
rocketmq-note.pdf
02-13
"RocketMQ基础入门，包括RocketMQ的发展历程、使用消息中间件的原因以及RocketMQ的主要版本。" Apache RocketMQ 是一个高性能、分布式的消息中间件，最初由阿里巴巴开发，后来成为Apache顶级项目。它主要用于解决...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值