RocketMQ的存储之消息的同步、异步刷盘

最新推荐文章于 2024-08-21 22:27:54 发布
最新推荐文章于 2024-08-21 22:27:54 发布
阅读量696 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Leon_Jinhai_Sun/article/details/104121831
版权

同步刷盘与异步刷盘

RocketMQ 为了提高性能，会尽可能地保证 磁盘的顺序写。消息在通过 Producer 写入 RocketMQ 的时候，有两种写磁盘方式，分别是同步刷盘与异步刷盘。

同步刷盘

在返回写成功状态时，消息已经被写入磁盘 。
具体流程是：消息写入内存的 PAGECACHE 后，立刻通知刷盘线程刷盘，然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写成功的状态 。

异步刷盘

在返回写成功状态时，消息可能只是被写入了内存的 PAGECACHE，写操作的返回快，吞吐量大
当内存里的消息量积累到一定程度时，统一触发写磁盘动作，快速写入。

broker配置文件中指定刷盘方式

flushDiskType=ASYNC_FLUSH -- 异步
flushDiskType=SYNC_FLUSH -- 同步

 

Leon_Jinhai_Sun
关注
RocketMQ - RocketMQ是如何实现同步刷盘以及异步刷盘两种策略的？
yang的博客
03-20 135
上面代码我们就看的很清晰了，其实他里面是根据你配置的两种不同的刷盘策略分别处理的，我们先看第一种，就是同步刷盘的策略是如何处理的。FlushCommitLogService其实是一个线程，他是个抽象父类，他的子类是CommitRealTimeService，所以真正唤醒的是他的子类代表的线程。比如是同步刷盘还是异步刷盘，如果是同步刷盘，那么此时就会直接把内存里的数据写入磁盘文件，如果是异步刷盘，那么就是过一段时间之后，再把数据刷入磁盘文件里去。那么今天我们来看看底层到底是如何执行不同的刷盘策略的。
RocketMQ5.0消息存储＜四＞_刷盘机制
专搞技术的小兔子
07-12 298
org.apache.rocketmq.store.CommitLog.DefaultFlushManager#handleDiskFlush是刷盘核心方法，含有同步、异步刷盘逻辑，如下代码所示。org.apache.rocketmq.store.CommitLog.FlushManager是刷盘管理器接口，其接口的实现类是org.apache.rocketmq.store.CommitLog.DefaultFlushManager刷盘管理器实现类维护刷盘线程执行周期性刷盘操作。开启堆外内存池的刷盘流程。
RocketMQ 同步刷盘&异步刷盘
八荒六合唯我独尊
10-21 1165
刷盘的入口方法在CommitLog#putMessage handleDiskFlush(result, putMessageResult, msg); public void handleDiskFlush(AppendMessageResult result, PutMessageResult putMessageResult, MessageExt messageExt) { // Synchronization flush if (FlushDiskTy
rocketmq 同步复制，异步复制，同步刷盘，异步刷盘详解
最新发布
qq_41768644的博客
08-21 283
rocketmq 同步复制，异步复制，同步刷盘，异步刷盘详解
RocketMQ Broker的刷盘机制
My_wife_QBL的博客
07-16 404
刷盘机制是指将数据从内存写入磁盘的过程。在RocketMQ中，消息首先被保存在内存中，然后通过刷盘机制将消息持久化到磁盘，以防止数据丢失。刷盘是保证消息可靠性的重要手段，是RocketMQ实现消息持久化的关键部分。
RocketMQ架构与RocketMQ 的刷盘机制（附官方图文，同步刷盘与异步刷盘）
m0_65819602的博客
10-04 474
消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。Index文件的存储位置是：$HOME \store\index\${fileName}，文件名fileName是以创建时的时间戳命名的，固定的单个IndexFile文件大小约为400M，一个IndexFile可以保存 2000W个索引，IndexFile的底层存储设计为在文件系统中实现HashMap结构，故rocketmq的索引文件其底层实现为hash索引。1.1 消息存储整体架构。
RocketMQ存储--同步刷盘和异步刷盘【源码笔记】
gaoliang1719的专栏
08-19 667
目录一、问题思考 二、Broker启动刷盘有关调用链 1.调用链 2.线程类关系图 三、线程类工作流程 1.堆外内存线程类CommitRealTimeService工作流程 2.同步刷盘...
RocketMQ源码分析(十二)之CommitLog同步与异步刷盘
jannal专栏
08-17 570
RocketMQ源码-同步与异步刷盘
Rocketmq 发送成功是指？ （同步发送 异步发送 & 同步刷盘 异步刷盘）
八荒六合唯我独尊
10-29 814
同开始接触Rocketmq的童鞋总容易把同步发送(异步发送)和同步刷盘(异步刷盘)混淆在一起，纠缠同步发送是不是和异步刷盘相矛盾，发送成功是指消息commit.log成功，还是追加到映射文件中成功又或者是发送到sendThreadPoolQueue就算成功，直接返回。在这里需要明确的是，发送是指客户端的行为，同步发送是客户等待结果返回才继续向下运行程序，而异步发送是指客户端另启一线程，执行发送消息，成功后执行回调。而同步刷盘和异步刷盘是broker端的行为，异同点在于何时将映射文件中的消息flush到硬盘上
RocketMQ源码13- broker 文件刷盘机制
m88997766的博客
03-31 96
同步刷盘异步刷盘。
RocketMq源码解析九：刷盘机制及过期文件删除
money9sun的博客
06-28 77
刷盘策略在不同时间进行刷写磁盘。RocketMQ的存储是基于JDK NIO的内存映射机制(MappedByteBuffer)的，消息存储首先将消息追加到内存，再根据配置的刷写磁盘消息追加到内存后，立即将数据刷写到文件系统中。代码的调用链如下：我们一起来看下同步刷盘和异步刷盘的逻辑。
RocketMQ源码解析：同步刷盘和异步刷盘的实现
小识的博客
11-28 2687
同步刷盘 在RocketMQ中有同步刷盘和异步刷盘两种方式 刷盘方式 优点 缺点 同步刷盘 数据可靠性高，适用于金融等对数据可靠性要求高的场景 性能比异步刷盘要低 异步刷盘 性能和吞吐量高 Broker端异常关闭时，有少量消息丢失 异步刷盘 异步刷盘的方式有两种，第一种Mmap+PageCache（默认的异步刷盘方式），上面说到的同步刷盘也是这种机制，代码实现如下 @Test public void writeCaseOne() throws Exception { F.
RocketMQ 刷盘实现
博观约取
08-03 8800
RocketMQ 刷盘实现标签（空格分隔）： RocketMQBroker 在收到Producer发送过来的消息后，会存入CommitLog对应的内存映射区中，见CommitLog类的putMessage方法。该方法执行OK后，会判断存储配置中刷盘模式：同步or异步？继而进行对应的操作。 ServiceThread –> FlushCommitLogService –> GroupCommit
云原生中间件RocketMQ-核心原理之同步_异步刷盘，同步_异步复制解析
write less , do more
08-31 7955
发送时，Producer将不同topic的所有消息都会顺序写入Commit Log中，Broker端的后台服务线程—ReputMessageService不停地分发请求并异步构建ConsumeQueue（逻辑消费队列）和IndexFile（索引文件）数据，不停的轮询，将当前的consumeQueue中的offSet和commitLog中的offSet进行对比，将多出来的offSet进行解析，然后put到consumeQueue中的MapedFile中。的触发写磁盘动作，会明显降低性能。...
【RocketMQ的高可用原理机制、RocketMQ的集群部署方式、数据刷盘机制中的同步刷盘和异步刷盘、主从同步机制和主从异步机制、broker文件中的相关配置信息以及代表的含义】
Coder_ljw的博客
11-15 389
好了，到这里【RocketMQ的高可用原理机制、RocketMQ的集群部署方式、数据刷盘机制中的同步刷盘和异步刷盘、主从同步机制和主从异步机制、broker文件中的相关配置信息以及代表的含义】就先学习到这里，写一篇文章我们将要学习生产者和消费者的高可用机制。在多主架构体系下，无论使用客户端还是管理端创建主题，一个主题都会创建多份队列在多主中，默认是4个的话，双主就会有8个队列，每台主4个队列，所以双主可以提高性能，一个Topic的分布在不同的master，方便进行横向拓展。
RocketMQ之消息刷盘
qq_51864596的博客
06-07 621
将内存中生产的消息持久化到磁盘的操作就是消息刷盘。消息是用于不同服务之间通信使用，为了确保它的可靠性，必须要将它持久化到磁盘当中，这样可以保证在宕机或异常情况发生时，消息不会丢失。
Rocketmq消息可靠性之同步、异步刷盘以及同步异步复制
袖卷笛音的博客
07-09 1827
消息的可靠性主要取决于刷盘以及复制的策略。只要数据写到磁盘就安全了，只要磁盘不损坏，不管服务器宕机或者重启，消息会一直存在 1.什么是同步刷盘和异步刷盘 刷盘就是内存跟磁盘的交互，应用程序例如mysql，插入一条数据的时候不是实时的写到磁盘里去，他会根据你配置的不同策略，会2s或者1s或者实时的将内存中的数据刷到磁盘里去。 1.1.什么是异步刷盘: 异步刷盘就是数据不是实时写到磁盘中，他会根据刷盘策略进行写入磁盘(数据可能丢失,性能高) 1.2.什么是同步刷盘: ...
RocketMQ高可用机制----同步刷盘、异步刷盘和同步复制、异步复制
我是guyue，guyue就是我O(∩_∩)O
04-22 6110
RocketMQ高可用机制----同步刷盘、异步刷盘和同步复制、异步复制 同步刷盘、异步刷盘 　　RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存储的消息量超出内存的限制。 RocketMQ为了提高性能，会尽可能地保证磁盘的顺序写。消息在通过Producer写入RocketMQ的时候，有两种 写磁盘方式： 　　1）异步刷盘方式：在返...
RocketMq的刷盘方式
荣山的博客
12-20 710
RocketMq的刷盘方式
RocketMQ刷盘策略优化：异步与同步处理
同步刷盘策略并未详细展开，但可以根据上下文推测，它可能是当系统资源充足或者异步刷盘不足以应对突发流量时，会采用的一种更加保守的策略，确保数据的即时持久化，但可能会带来更高的延迟。 此外，文档还提到了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值