RocketMQ知识盘点【贰】_Broker和消息存储

最新推荐文章于 2024-05-14 17:33:27 发布
最新推荐文章于 2024-05-14 17:33:27 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 消息队列 文章标签： java metaq 消息队列 mq rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinzun/article/details/105474871
版权

前文回顾：RocketMQ知识盘点【壹】_Producer和NameServer。

 

1.Broker

一个topic拥有多个消息队列，一个Broker默认为每个topic创建4个读队列和4个写队列。多个Broker组成集群，brokerName相同的多个Broker组成master-slave架构。brokerId为0的为master，大于0为slave。

对于一个Broker，它的存储目录是这样的

下面做逐个解释。

 

2.消息存储

 

rocketMq消息存储文件分为CommitLog文件、ConsumeQueue文件和IndexFile文件等。其中：

CommitLog存储所有topic的消息(类似mysql的redo log)&#x

最低0.47元/天 解锁文章
xinzun
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
rocketmq4_1_0
06-30
接着，可以使用`bin`目录下的脚本来启动NameServer（名字服务器）和Broker（消息代理），NameServer用于存储和查找Broker信息，而Broker则负责消息的存储和传输。用户还可以通过控制台或者API接口进行消息的发送和...
rocketmq_broker.conf
12-04
RocketMQ 配置文件：（下面是默认配置） brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH
rocketMQ的初步认识，topic、nameServer、broker相关概念的解释
yuanchangliang的博客
07-28 8738
针对我学过kafka，然后半年过去了，基本什么概念都没，kafka的任何知识都忘了的学习状况，决定多多记录自己在学习新知识的各种见解，即使几个月以后回首望去，感觉这些知识太基础了也在所不惜。绝对不能重蹈kafka的覆辙。 在rocketMQ中，有topic、nameServer、broker三个最基本概念： 我眼里的三大最基础概念： 1、topic： 主题。每一个消息都会且只会属于某一个主题。消息和主题是属于一对一的关系，而主题和消息是属于一对多的关系。如下图，可以看到主题和消息的关系： 如上图，生产.
精华推荐 | 【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」透彻剖析贯穿RocketMQ的Broker服务端自动创建topic的原理分析和问题要点指南
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-25 742
使用RocketMQ进行发消息时，一般我们是必须要指定topic，此外topic必须要提前建立，但是topic的创建（自动或者手动方式）的设置有一个开关autoCreateTopicEnable，此部分主要会在broker节点的配置文件的时候进行设置，运行环境中会使用默认设置autoCreateTopicEnable = true，但是这样就会导致topic的设置不容易规范管理，所以在生产环境中会在Broker设置参数autoCreateTopicEnable = false。
RocketMQ：broker配置说明
最新发布
进击的小白
05-14 927
66. maxTransferBytesOnMessageInMemory: 内存中消息的最大传输字节数。14. maxTransferCountOnMessageInMemory: 内存中消息的最大传输计数。38. maxTransferBytesOnMessageInDisk: 磁盘上消息的最大传输字节数。71. deleteConsumeQueueFilesInterval: 删除消费队列文件的时间间隔。36. deleteCommitLogFilesInterval: 删除提交日志文件的时间间隔。
RocketMQ基础概念之Broker
热门推荐
看水不是水
03-27 1万+
Broker是RocketMQ的核心，大部分工作都在Broker中完成，包括接收请求，处理消费，消费持久，消息的HA，以及服务端过滤等都在里面完成 消息的存储和发送 因为有HA，所以需要磁盘持久化 磁盘使用的好坏，可以突破网络的瓶颈 MappedByteBuffer,基于零拷贝技术，由内核态直接往网卡上发送数据，避免了用户态的复制 存储结构 ConsumeQueu...
57、MQ（认识MQ：也就是broker）
分享java学习路上的一些笔记，不足之处多多见谅。
11-02 1627
MQ（认识MQ：也就是broker）MQ（messageQueue）消息队列：也就是我们事件驱动架构的broker（用来存储事件在这里我们称事件为消息。）比如：有一人支付成功了这是一个事件在消息队列里叫消息。消息队列来管理这些消息。后面消费者来订阅这些消息，消息队列就将这些消息发送给他们
RocketMQ - 集群管理
yang的博客
05-25 798
在分布式服务架构中，任何中间件或者应用都不允许单点存在，服务发现机制是必备的。服务实例有多个，且数量是动态变化的。注册中心会提供服务管理能力，服务调用方在注册中心获取服务提供者的信息，从而进行远程调用。接下来介绍一下RocketMQ的整体架构设计、集群管理。
rocketmq-master_rocketmq_paintkgm_
09-29
8. **消息回溯**：通过时间点回溯和消息轨迹追踪，用户可以在特定时间点查看历史消息，方便故障排查和数据分析。 9. **集群部署**：RocketMQ支持NameServer和Broker的集群部署，增强了系统的可用性和容错性。 10. ...
阿里RocketMQ_用户指南_V3.2.4_最新版本
11-29
- **Broker**: Broker是RocketMQ集群中的节点，负责存储和转发消息。 - **NameServer**: 名称服务器是一个轻量级的服务，用于存储所有Broker的元数据，便于Producer和Consumer发现Broker。 2. ** RocketMQ的特性 ...
doris 0.15版本 中的 apache_hdfs_broker 插件
01-28
已对doris 0.15版本中的apache_hdfs_broker组件进行了编译，可以直接使用此包进行 分发，修改配置文件，启动（之前需要对doris进行安装启动） *** 对应的doris0.15安装包链接如下：...
Centos7.x部署RocketMQ-4.7.0集群及工作原理
linux运维工程师的博客
03-30 2028
大家好，我是Linux运维工程师 Linke 。技术过硬，从不挖坑，谷歌百度，无所不用~ 消息队列的作用 做为大数据高并发架构中核心中间件的消息队列，可谓是相当重要的存在。在我现有的知识层面，我的理解这就是在 S2S （server toserver）级别的一个缓冲存储，主要解决瞬时压力大于应用服务处理能力，导致消息丢失、系统奔溃等问题，另外它还有解耦（不同重要程度、不同能力级别系统之间依赖...
rocketmq linux-单个配置流程
yuxinchen的博客
02-13 2032
一。下载rocketmq源码：https://github.com/alibaba/RocketMQ/releases 二。由于需要编译，linux环境需要安装maven和jdk 三。解压rocketmq，执行./install.sh 四。环境变量：在终端中输入以下命令：vi /etc/profile ，在文件的末尾中添加如下两句话：export rocketmq=/usr/local/
吐血总结——消息队列之RocketMQ知识梳理
相约滦北来看你
07-31 2067
摘要 在说消息队列之前，我们要明白为啥需要消息队列，知乎上有一篇文章写的不错，链接: 为什么要使用消息队列？ 消息队列主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。今天我就首先分析一下RocketMQ，目前公司用的也是这个，因此在进行一下梳理，加深一下印象。 RocketMQ概述 RocketMQ为分
RocketMQ扫盲(二)broker存储
天阶的专栏
04-13 3426
提纲： 1、介绍broker 2、commitlog 、consumerQueue、Index作用及衔接 3、 broker刷盘方式机制 4、主从搭建、同步方式、同步原理 5、顺序写、零拷贝 6、总结 7、参考及鸣谢 ...
RocketMQ4.5.X修改生产者消费者日志保存路径
qq_35251168的博客
08-17 3133
rocket默认是将所有日志文件保存到user.home的对于win系统就是C盘了。 1.修改RocketMQ中CLientLogger.class的源码，把经过更改的源码重新打包后，去自己的maven仓库替换rocketmq-client.-4.5.X.jar。 2.对于生产者的启动类里需要配置JVM系统属性： 如果不设置logUserSlf4j为true的话，启动生产者的时候会报找...
RocketMQ源码学习四：Broker启动
qq_27586963的博客
07-10 406
broker也有一个BrokerController，这个是和nameServer一致的。BrokerController封装了很多关于broker的逻辑，比如:broker的初始化，线程池的初始化，通讯组件的初始化，注册各种处理器，初始化各种存储组件等等。broker的启动实际就是调用BrokerController的start()逻辑，也就是初始化各种组件。因为底层是依据netty做通信，底层就是启动一个netty做网络通信。
RocketMQ5.0.0的Broker主从同步机制
爱我所爱0505
02-23 1967
本章节介绍RocketMQ的主从同步机制实现，其主/从Broker启动流程相同，根据配置角色来决定是否执行HA同步。
rocketmq 消息落在哪个broker
04-30
RocketMQ 消息落在哪个 Broker 取决于消息发送的方式和 Broker 集群的方式。 如果使用默认的负载均衡方式（Round-Robin），那么消息将会均匀地发送到所有的 Broker 节点上。这样有助于确保消息的高可用性和可靠性，在 Broker 节点发生故障时，仍有其他的 Broker 节点可以接收并处理消息。 如果消息发送方指定了消息发送到某个特定的队列，则消息将会直接被发送到该队列对应的 Broker 节点上。这种方式对于一些需要特定队列的场景非常有用。 总之，RocketMQ 可以根据发送方指定的消息队列和默认的负载均衡方式将消息发送到合适的 Broker 节点上，并确保消息的可靠性和高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值