RocketMq的刷盘方式

最新推荐文章于 2023-07-12 13:45:04 发布
最新推荐文章于 2023-07-12 13:45:04 发布
阅读量677 收藏
点赞数 1
分类专栏： 消息队列 文章标签： java 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43882788/article/details/122033667
版权

同步刷盘：在消息到达MQ后，RocketMQ需要将数据持久化，同步刷盘是指数据到达内存之后，必须刷到commitlog日志之后才算成功，然后返回producer数据已经发送成功。

异步刷盘：，同步刷盘是指数据到达内存之后 , 返回 producer 说数据已经发送成功。，然后再写入 commitlog 日志。
commitlog ：
commitlog 就是来存储所有的元信息，包含消息体，类似于 MySQL 、 Oracle 的 redolog, 所以主要有 CommitLog 在， Consume Queue 即使数据丢失，仍然可以恢复出来。
consumequeue ：记录数据的位置 , 以便 Consume 快速通过 consumequeue 找到 commitlog 中的数据
永远的HelloWorld
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ - RocketMQ是如何实现同步刷盘以及异步刷盘两种策略的？
yang的博客
03-20 65
上面代码我们就看的很清晰了，其实他里面是根据你配置的两种不同的刷盘策略分别处理的，我们先看第一种，就是同步刷盘的策略是如何处理的。FlushCommitLogService其实是一个线程，他是个抽象父类，他的子类是CommitRealTimeService，所以真正唤醒的是他的子类代表的线程。比如是同步刷盘还是异步刷盘，如果是同步刷盘，那么此时就会直接把内存里的数据写入磁盘文件，如果是异步刷盘，那么就是过一段时间之后，再把数据刷入磁盘文件里去。那么今天我们来看看底层到底是如何执行不同的刷盘策略的。
RocketMQ使用手册
06-21
RocketMQ使用手册
Rocketmq 发送成功是指？ （同步发送 异步发送 & 同步刷盘 异步刷盘）
八荒六合唯我独尊
10-29 793
同开始接触Rocketmq的童鞋总容易把同步发送(异步发送)和同步刷盘(异步刷盘)混淆在一起，纠缠同步发送是不是和异步刷盘相矛盾，发送成功是指消息commit.log成功，还是追加到映射文件中成功又或者是发送到sendThreadPoolQueue就算成功，直接返回。在这里需要明确的是，发送是指客户端的行为，同步发送是客户等待结果返回才继续向下运行程序，而异步发送是指客户端另启一线程，执行发送消息，成功后执行回调。而同步刷盘和异步刷盘是broker端的行为，异同点在于何时将映射文件中的消息flush到硬盘上
RocketMQ,rocketmq
10-31
修改配置文件 conf目录下的 broker.conf 文件 后台启动;sh mqnamesrv & 后台启动 nohup ./bin/mqbroker -c ./conf/broker.conf -n localhost:9876 & 使用jps命令查看进程
RocketMQ控制台
07-08
老版本rocketmq控制台
【RocketMQ】原理分析：Producer消息发送模式、分发规则
二狗家有矿
03-16 566
1.消息发送模式 1.1 同步发送 同步消息发送模式就是说消息发送出去后，producer会等到broker回应后才能继续发送下一个消息 DefaultMQProducer producer = new DefaultMQProducer("my_producer_group"); producer.send(message); // 同步发送 返回的SendResult有四种状态：SEND OK（成功），FLUSH_DISK_TIMEOUT（刷盘超时），FLUSH_SLAVE_TIM...
Rocketmq刷盘三剑客
weixin_41953346的博客
01-18 537
rocketmq有三个线程负责刷盘，根据不同的配置场景rocketmq的刷盘策略分为三种：1、异步刷盘+缓存刷盘策略 ；2、异步刷盘策略，3同步刷盘策略。本文通过介绍三个负责刷盘线程的执行步骤，交代三种策略的具体内容。
RocketMQ之消息刷盘
qq_51864596的博客
06-07 492
将内存中生产的消息持久化到磁盘的操作就是消息刷盘。消息是用于不同服务之间通信使用，为了确保它的可靠性，必须要将它持久化到磁盘当中，这样可以保证在宕机或异常情况发生时，消息不会丢失。
图文并茂，深入理解RocketMQ的刷盘机制
qwer123451234123的博客
05-04 1412
今天这篇我们先来聊聊 Kafka 生产者初始化时用到的核心组件以及发送的核心流程，带你梳理生产者初始化整体的源码分析脉络。 认真读完这篇文章，我相信你会对 Kafka 生产初始化源码有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 我们都知道在 Kafka 中，我们把产生消息的一方称为生产者即 Producer，它是 Kafka 核心组件之一，也是消息的来源所在。那么这些生产者产生的消息是如何传到 Kafka 服务端的呢？初始化过程是怎么样的呢？接下来会逐一讲解说明。
RocketMQ 的刷盘机制、主从复制、存储形式
SO_zxn的博客
03-29 1437
rocketMQ刷盘机制 rocketMQ主从复制 rocketMQ存储形式
RocketMQ5.0消息存储＜四＞_刷盘机制
专搞技术的小兔子
07-12 250
org.apache.rocketmq.store.CommitLog.DefaultFlushManager#handleDiskFlush是刷盘核心方法，含有同步、异步刷盘逻辑，如下代码所示。org.apache.rocketmq.store.CommitLog.FlushManager是刷盘管理器接口，其接口的实现类是org.apache.rocketmq.store.CommitLog.DefaultFlushManager刷盘管理器实现类维护刷盘线程执行周期性刷盘操作。开启堆外内存池的刷盘流程。
RocketMQ 5.2.0
最新发布
02-29
不需要积分的资源
RocketMQ黑马笔记
06-08
RocketMQ黑马笔记
Rocketmq可视化工具
11-05
Rocketmq可视化工具 使用方法： 打包运行 mvn clean package -Dmaven.test.skip=true java -jar target/rocketmq-console-ng-1.0.1.jar
C#操作RocketMQ用NewLife.RocketMQ发布消息，消费消息
u011511086的专栏
09-04 5306
发布消息 using NewLife.Log; using NewLife.Messaging; using NewLife.RocketMQ; using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; namespace ConsoleApp1_RocketMq { class
RocketMQ篇一（基本概念、集群组成、部署类型、存储机制(介质、结构、刷盘机制、主从复制)、消息防丢失、负载均衡）
xingze的博客
07-17 1178
文章目录入门消息重试（重试队列）生产端重试消费端重试延迟消息发送延迟消息顺序消费 1、messageDelayLevel 是设置重试时间间隔还是延时队列时间间隔的？ messageDelayLevel 是设置延时队列时间间隔的。消息异常重试时也有用到。 2、默认重试次数和时间间隔是多少？ 默认情况下都是重试16次，使用延时等级配置的时间。 入门 其代码结构清晰优秀，底层采用Netty框架进行NIO通信。 内部使用轻量级的NameServer进行服务发现和动态路由，提高了服务性能，并且支持消息失败重试机制。
面试官再问我如何保证 RocketMQ 不丢失消息,这回我笑了！
楼下小黑哥
03-25 3946
最近看了 @JavaGuide 发布的一篇『面试官问我如何保证Kafka不丢失消息?我哭了！』，这篇文章承接这个主题，来聊聊如何保证 RocketMQ 不丢失消息。 0x00. 消息的发送流程 一条消息从生产到被消费，将会经历三个阶段： 生产阶段，Producer 新建消息，然后通过网络将消息投递给 MQ Broker 存储阶段，消息将会存储在 Broker 端磁盘中 消息阶段， Consum...
5.RocketMQ之刷盘策略
qq_36851469的博客
07-04 213
【代码】RocketMQ之刷盘策略。
RocketMq的数据刷盘策略和复制策略以及RAID介绍
健康平安的活着的专栏
06-04 1049
刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘的方式。分为同步刷盘与异步刷盘：同步刷盘：当消息持久化到broker的磁盘后才算是消息写入成功。异步刷盘：当消息写入到broker的内存后即表示消息写入成功，无需等待消息持久化到磁盘。
rocketmq刷盘
01-05
RocketMQ的刷盘机制是指...总结起来，RocketMQ的刷盘机制可以通过配置文件中的flushDiskType参数来选择异步刷盘或同步刷盘方式。异步刷盘方式性能较高但可能会有数据丢失风险，同步刷盘方式数据可靠性较高但性能较差。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值