RocketMQ - RocketMQ是如何实现同步刷盘以及异步刷盘两种策略的？

最新推荐文章于 2024-05-15 11:14:12 发布
最新推荐文章于 2024-05-15 11:14:12 发布
阅读量43 收藏
点赞数
分类专栏： RocketMQ - 你的消息队列技术引路人 文章标签： java-rocketmq rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangbaggio/article/details/136459871
版权

我们已经了解到数据写入到Broker之后的存储流程，包括数据直接写入CommitLog，而且直接进入的是MappedFile映射的一块内存，不是直接进入磁盘，同时有一个后台线程会把CommitLog里更新的数据给写入到ConsumeQueue和IndexFile里去。写入CommitLog的数据进入到MappedFile映射的一块内存里之后，后续会执行刷盘策略。

比如是同步刷盘还是异步刷盘，如果是同步刷盘，那么此时就会直接把内存里的数据写入磁盘文件，如果是异步刷盘，那么就是过一段时间之后，再把数据刷入磁盘文件里去。

那么今天我们来看看底层到底是如何执行不同的刷盘策略的。

往CommitLog里写数据的时候，是调用的CommitLog类的putMessage()这个方法，其实在这个方法的末尾有两行代码。

CompletableFuture<PutMessageStatus> flushResultFuture = submitFlushRequest(result, msg)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
无法无天过路客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
rocketmq-client-go:Apache RocketMQ Go客户端
04-28
RocketMQ Client Go 完全支持产品的RocketMQ Client，它几乎支持Apache RocketMQ的全部功能，例如发布和订阅消息，ACL，跟踪等。 ，我们诚挚地邀请您花点时间对您的使用情况进行反馈。 或者如果您接受，则转到 。 特征 对于2.0.0版本，它支持： 以同步模式发送消息 以异步模式发送消息 以单向方式发送消息 发送有条理的消息 使用推送模型消费消息 发布消息和子消息的消息跟踪 生产者和消费者的ACL 如何使用 RocketMQ Go Client简介中提供了分步说明 请咨询RocketMQ快速入门以设置rocketmq代理和名称服务器。 Apache RocketMQ社区 RocketMQ社区项目 联系我们 邮件列表： https : //rocketmq.apache.org/about/contact/ 主页： https ： //ro
rocketmq-spring-boot-starter：rocketmq-spring-boot-starter
01-30
rocketmq-spring-boot-starter 阿里云RocketMQSpring图书版 支持功能： 发送普通消息的三种模式：同步，异步和单向 订阅消息群集，广播 发送和接收顺序消息 交易讯息 延迟讯息 接收和接收定时消息 定时消息和延迟消息： 延迟消息和定时消息：在官方情况下，延迟新闻与常规新闻几乎相同，本质上是普通新闻。 如果需要延迟消息和计时消息，建议使用计时任务（计时任务调度平台） 以达到延迟或定时的目的。 交易留言： 在框架中，对事务消息的操作越来越简单。 您只能通过注释来完成交易消息。 无论是事务消息，分布式事务解决方案还是跨平台语言解决方案，事务解决方案的核心问题是确保可以发送消息，并且消费者可以使用它们。 可靠性保证 1.添加@TransactionMessage批注，内核保证，本地事务错误，不发送消息，正确执行，发送消息，即默认提交。 2.默认情况下采用可靠性保证，并核对默认提交。 原因来自先前的因素，该因素保证本地交易不会出错。 快速开始 <!-- Adding dependencies to pom. XML -->
rocketmq-spring-boot-starter:RocketMQ客户端封装类，基于最新版本4.5.2
05-26
spring boot starter for RocketMQ 项目介绍 是由阿里巴巴团队开发并捐赠给apache团队的优秀消息中间件，目前已经是apache的顶级项目之一，承受过历年双十一大促的考验。 你可以通过本项目轻松的集成Rocketmq到你的SpringBoot项目中。 本项目主要包含以下特性 同步发送消息 异步发送消息 广播发送消息 有序发送和消费消息 发送延时消息 消息tag和key支持 自动序列化和反序列化消息体 发送事务消息(NEW) ... 简单入门实例 模块介绍： rocketmq-spring-boot-starter：组件的依赖入口 rocketmq-spring-boot-autoconfigure： 自动配置模块 rocketmq-spring-boot-app：Demo示例，里面包含了最基本功能的用法 1. 添加maven依赖： <de
rocketmq-client-cpp:Apache RocketMQ cpp客户端
05-01
RocketMQ-Client-CPP RocketMQ-Client-CPP是Apache RocketMQ的C / C ++客户端，Apache RocketMQ是一种分布式消息传递和流平台，具有低延迟，高性能和可靠性，万亿级容量和灵活的可伸缩性。 特征 同步或异步产生消息，包括普通消息和延迟消息。 同时或有序地以集群或广播模式使用消息 c和c ++样式的API。 跨平台，Windows，Linux和Mac OS均支持所有功能。 在生产和消费过程中自动重新平衡。 可靠性，任何停机代理或名称服务器都不会对客户端产生影响。 编译安装 Linux和Mac OS 注意：在运行构建脚本build.sh之前，请确保已安装以下编译工具或库。 编译工具： gcc-c ++ 4.8.2：需要支持C ++ 11的c ++编译器 cmake 2.8.0：构建jsoncpp需要它 automa
seckill-rocketmq:seckill-rocketmq-基于RocketMQ-电商高并发场景实战
05-17
seckill-rocketmq[基于RocketMQ-电商高并发场景实战] 场景为：示例项目以用户访问秒杀网关进行秒杀订单下单，平台通过RocketMQ对秒杀流量进行削峰填谷。用户通过主动查询订单 获取下单结果的完整业务流程，加深对RocketMQ的理解，并学会如何在实战场景下使用RocketMQ。 项目基本按照实际秒杀场景进行设计与编码，提供了充分的预校验逻辑，可以作为业务中开发的参考demo。 主要技术 消息队列（RocketMQ）: 作用，长流程异步化，提升吞吐量，削峰填谷 |-普通消息的发布及订阅 SpringBoot |-配置资源预加载 RestTemplate |-application/x-www-form-urlencoded格式数据的发送 H2 |-嵌入式数据库 业务流程图 业务流程图如下 秒杀下单流程 订单查询流程 模块描述 模块 说明
RocketMq的数据刷盘策略和复制策略以及RAID介绍
健康平安的活着的专栏
06-04 978
刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘的方式。分为同步刷盘与异步刷盘：同步刷盘：当消息持久化到broker的磁盘后才算是消息写入成功。异步刷盘：当消息写入到broker的内存后即表示消息写入成功，无需等待消息持久化到磁盘。
RocketMQ高可用机制----同步刷盘、异步刷盘和同步复制、异步复制
我是guyue，guyue就是我O(∩_∩)O
04-22 5799
RocketMQ高可用机制----同步刷盘、异步刷盘和同步复制、异步复制 同步刷盘、异步刷盘 　　RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存储的消息量超出内存的限制。 RocketMQ为了提高性能，会尽可能地保证磁盘的顺序写。消息在通过Producer写入RocketMQ的时候，有两种 写磁盘方式： 　　1）异步刷盘方式：在返...
RocketMQ源码解析：同步刷盘和异步刷盘的实现
小识的博客
11-28 2596
同步刷盘 在RocketMQ中有同步刷盘和异步刷盘两种方式 刷盘方式 优点 缺点 同步刷盘 数据可靠性高，适用于金融等对数据可靠性要求高的场景 性能比异步刷盘要低 异步刷盘 性能和吞吐量高 Broker端异常关闭时，有少量消息丢失 异步刷盘 异步刷盘的方式有两种，第一种Mmap+PageCache（默认的异步刷盘方式），上面说到的同步刷盘也是这种机制，代码实现如下 @Test public void writeCaseOne() throws Exception { F.
RocketMQ源码分析(十二)之CommitLog同步与异步刷盘
jannal专栏
08-17 527
RocketMQ源码-同步与异步刷盘
云原生中间件RocketMQ-核心原理之同步_异步刷盘，同步_异步复制解析
write less , do more
08-31 7914
发送时，Producer将不同topic的所有消息都会顺序写入Commit Log中，Broker端的后台服务线程—ReputMessageService不停地分发请求并异步构建ConsumeQueue（逻辑消费队列）和IndexFile（索引文件）数据，不停的轮询，将当前的consumeQueue中的offSet和commitLog中的offSet进行对比，将多出来的offSet进行解析，然后put到consumeQueue中的MapedFile中。的触发写磁盘动作，会明显降低性能。...
RocketMQ-主从同步和刷盘类型
绅士jiejie的博客
06-03 177
RocketMQ-主从同步和刷盘类型
RocketMQ5.0.0消息存储＜四＞_刷盘机制
爱我所爱0505
02-15 709
本章节介绍RocketMQ的刷盘机制，分为同步刷盘和异步刷盘两种，默认异步刷盘方式。异步刷盘根据是否开启堆外内存池进行不同的刷盘策略。
Mall4j商城实战 - 部署 rocketmq-namesrv、rocketmq-broker、rocketmq-dashboard 消息队列
yueerba126的博客
11-15 124
RocketMQ 是一个开源的分布式消息和流处理平台，主要用于处理大规模的数据传输。它包括几个关键组件，每个组件都承担着不同的角色。其中。
深入源码聊聊RocketMQ刷盘机制
欢少的成长之路的博客
05-05 560
大家好，我是Leo。 今天聊一下RocketMQ的三种刷盘机制。 同步刷盘 异步刷盘（RocketMQ默认） 异步刷盘+缓冲区 出自微信公众号【欢少的成长之路】 本章概括 同步刷盘 整个同步刷盘策略由 FlushCommitLogService 与 GroupCommitService 实现。 FlushCommitLogService 是 GroupCommitService 刷盘服务的父类，它是一个抽象类，本身没有实现，只是一个标记类，刷盘策略由子类负责完成。 同步刷盘时，只有消息被真正持久化到磁
基于RocketMQ实现分布式事务
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
12-20 3061
在上一篇文章Spring Boot自动装配原理以及实践我们完成了服务通用日志监控组件的开发，确保每个服务都可以基于一个注解实现业务功能的监控。而本文我们尝试基于RocketMQ实现下单的分布式的事务。可能会有读者会有疑问，之前我们不是基于Seata完成了分布式事务，为什么我们还要用到RocketMQ呢？创建订单，将订单记录存到数据库中。扣款，记录用户扣款后钱包所剩下的额度。扣除商品库存，并发放商品。
Spring-Cloud 微服务
最新发布
weixin_65127444的博客
05-15 449
先来思考一个问题*通过上一章的操作，我们已经可以实现微服务之间的调用。但是我们把服务提供者的网络地址（ip，端口）等硬编码到了代码中，这种做法存在许多问题：1.一旦服务提供者地址变化，就需要手工修改代码2. 一旦是多个服务提供者，无法实现负载均衡功能3.一旦服务变得越来越多，人工维护调用关系困难那么应该怎么解决呢，这时候就需要通过注册中心动态的实现。
CMS垃圾回收器为什么被移除
m0_54187478的博客
05-10 437
由于上述缺点，加上需要将资源投入到更现代垃圾回收器的开发和优化上，Oracle决定从Java 9开始标记CMS为废弃，并在后续版本中完全移除CMS。这些新的收集器旨在提供更低的停顿时间和更高的性能，同时减少配置和维护的复杂性。当它在垃圾收集周期内无法足够快地回收内存时，会退回到一种需要完全暂停所有应用线程的老年代收集模式，这与它设计的初衷相违背。：CMS使用的标记-清除算法会导致较多的内存碎片。：CMS需要更多的CPU资源来执行垃圾回收的并发阶段，而且它在运行时对系统资源的利用也较为激进。
rocketmq刷盘
01-05
RocketMQ采用了异步刷盘和同步刷盘两种方式。 1. 异步刷盘（ASYNC_FLUSH）：RocketMQ启动单独的线程周期执行刷盘操作。在broker.conf配置文件中，可以通过设置flushDiskType参数为ASYNC_FLUSH来启用异步刷盘方式。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无法无天过路客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值