RocketMQ
文章平均质量分 91
无心六神通
金融科技系统架构师
展开
-
RocketMQ之存储架构
与「固定频率刷盘」比较相似,唯一不同点是,当前刷盘策略是响应中断的,即每次有新的消息到来的时候,都会发送唤醒信号,如果刷盘线程正好处在500ms等待期间的话,将被唤醒。整体来看,文件预热后的写入操作,确实能带来性能上的提升,但是如果在系统压力较大、磁盘吞吐紧张的场景下,势必导致broker抖动,甚至请求超时,反而得不偿失。不响应中断,固定500ms(可配置)刷盘,但刷盘的时候,如果发现未落盘数据不足16K(可配置),那么将进入下一个循环,如果满16K的话,会将所有未落盘的数据落盘。此处补充说明下,不论是。原创 2024-06-04 08:41:08 · 1049 阅读 · 0 评论 -
RocketMQ 顺序消息
顺序消息是 Apache RocketMQ 提供的一种高级消息类型,支持消费者按照发送消息的先后顺序获取消息,从而实现业务场景中的顺序处理。相比其他类型消息,顺序消息在发送、存储和投递的处理过程中,更多强调多条消息间的先后顺序关系。Apache RocketMQ 顺序消息的顺序关系通过。原创 2024-05-31 06:49:58 · 554 阅读 · 0 评论 -
消息队列技术选型(Kafka + RocketMQ)
【摘要】 当业务需要系统间调用解耦时,MQ是一个很好的解决方案。目前选择最多的当属Kafka和阿里的RocketMQ性能指标kafkaRocketMQ适用场景日志处理适合处理业务性能单击写入TPS号称在百万条/秒大约10万条/秒可靠性使用异步刷盘,异步复制(Replication)支持异步/同步刷盘,异步/同步复制(Replication)。当业务需要系统间调用解耦时,MQ是一个很好的解决方案。备注:TPS:Transaction Per Second,每秒事务处理量。原创 2024-05-31 06:09:56 · 174 阅读 · 0 评论 -
Kafka 和 RocketMQ 之性能对比
从上面的对比来看,Kafka 在性能上综合表现确实要比 RocketMQ 更加的优秀,但在消息选型过程中,我们不仅仅要参考其性能,还有从功能性上来考虑,例如 RocketMQ 提供了丰富的消息检索功能、事务消息、消息消费重试、定时消息等。笔者个人认为通常在大数据、流式处理场景基本选用 Kafka,业务处理相关选择 RocketMQ。原创 2024-05-31 06:06:57 · 689 阅读 · 0 评论 -
高并发架构系列:Kafka、RocketMQ、RabbitMQ的优劣势比较
在高并发业务场景下,典型的阿里双11秒杀等业务,消息队列中间件在流量削峰、解耦上有不可替代的作用。之前介绍了MQ消息队列的12点核心原理总结,以及如何从0到1设计一个MQ消息队列,以及RPC远程调用和消息队列MQ的区别。原创 2024-05-31 05:32:36 · 634 阅读 · 0 评论 -
RocketMQ如何保证消息的可靠性?
本文从消息流转的整个过程分析了RocketMQ如何保证消息的可靠性,消息发送通过不同的重试策略保证了消息的可靠发送,消息存储通过不同的刷盘机制以及多副本来保证消息的可靠存储,消息消费通过至少消费成功一次以及消费重试机制来保证消息的可靠消费,RocketMQ在保证消息的可靠性上做到了全链路闭环,最大限度的保证了消息不丢失。。原创 2024-05-31 05:26:07 · 720 阅读 · 0 评论 -
深入理解内存映射:mmap映射的背后原理以及和共享内存的差异
内存映射(Memory Mapping)是一种将文件内容映射到进程的虚拟地址空间的技术。在这种机制下,文件可以被视为内存的一部分,从而允许程序直接对这部分内存进行读写操作,而无需传统的文件 I/O 调用。这种方法不仅简化了文件操作,还提高了处理效率。mmap是实现内存映射的关键系统调用。它创建了文件内容和进程地址空间之间的直接映射,使得文件的一部分或全部可以直接映射到进程的地址空间中。这样,文件的读写就变得像内存访问一样高效。原创 2024-05-31 05:18:30 · 915 阅读 · 0 评论 -
RocketMQ-常见面试题-总结
本文来自读者。原创 2024-02-13 18:48:07 · 1171 阅读 · 0 评论 -
RocketMQ-基础知识-总结
总算把这篇博客写完了。我讲的你们还记得吗😅?这篇文章中我主要想大家介绍了消息队列出现的原因消息队列的作用(异步,解耦,削峰)消息队列带来的一系列问题(消息堆积、重复消费、顺序消费、分布式事务等等)消息队列的两种消息模型——队列和主题模式分析了RocketMQ的技术架构(NameServerBrokerProducerComsumer结合RocketMQ回答了消息队列副作用的解决方案介绍了RocketMQ的存储机制和刷盘策略。原创 2024-02-13 18:47:27 · 808 阅读 · 0 评论 -
RocketMQ-Dledger快速搭建-自动容灾切换-最佳实践
DLedger是一套基于Raft协议的分布式日志存储组件,部署 RocketMQ 时可以根据需要选择使用DLeger来替换原生的副本存储机制。本文档主要介绍如何快速构建和部署基于 DLedger 的可以自动容灾切换的 RocketMQ 集群。原创 2024-01-23 21:48:48 · 1062 阅读 · 0 评论 -
RocketMQ-DLedger架构-实践-小米
DLedger架构作为RocketMQ 4.5 推出的全新架构,稳定性有保障。小米的在线核心业务规模巨大,需要很高的可靠性保证,因此选择了DLedger架构。小米希望用数据说话,积极地拥抱社区发展并认为大规模落地DLedger既是挑战,也是机会。那么,我们一起看看RocketMQ DLedger架构在小米的大规模实践。本文作者:邓志文,小米研发工程师,Apache RocketMQ Committer。原创 2024-01-23 21:27:37 · 1178 阅读 · 0 评论 -
RocketMQ-同城双活-高可用架构-同程旅行
我们在几年前决定引入 MQ 时,市场上已经有不少成熟的解决方案,比如 RabbitMQ , ActiveMQ,NSQ,Kafka 等。纯 Java 开发,无依赖,使用简单,出现问题能 hold;经过阿里双十一考验,性能、稳定性可以保障;功能实用,发送端:同步、异步、单边、延时发送;消费端:消息重置,重试队列,死信队列;社区活跃,出问题能及时沟通解决。原创 2024-01-23 20:59:02 · 1859 阅读 · 0 评论