rocketmq 是参考了 kafka架构, 为什么rocketmq吞吐量是10万/秒, kafka吞吐量是17万/秒?

最新推荐文章于 2024-10-08 22:09:49 发布
最新推荐文章于 2024-10-08 22:09:49 发布
阅读量398 收藏 3
点赞数 15
分类专栏： 思考题 文章标签： rocketmq kafka 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_75137040/article/details/141523232
版权

我们都知道, 为了防止消息在服务器丢失, 一般都是进行持久化(保存在磁盘), 在发送消失时那就涉及到从磁盘拷贝到内核空间, 从内核空间到用户态, 再从用户态到socket缓存区, 从socket缓存区到网卡 四次拷贝。

kafka使用的是零拷贝-sendfile, 把内核态数据发送到网卡, 减少两次拷贝,

而rocketmq使用的是零拷贝-mmp, 把内核态数据映射到用户态, 只减少一次拷贝,

所以kafka吞吐量会大一些。

为什么rocketmq要用mmp?

因为mmp 在用户态的应用程序可以读到 消息内容 并做一些额外功能(把消息加到死信队列, 补发消息)。

这是用sendfile不行的

总结:没有完美的架构, 很难做到既要, 又要, 牺牲一部分能力换取另一部分, 从而适应不同场景需求

传统文件传输

mmp (映射 减少一次拷贝 rocketmq用了)

sendfile(kafka用了)

图来源于 小林coding 参考: 9.1 什么是零拷贝？ | 小林coding

进击的小白程序员
关注
专栏目录
消息中间件学习总结（16）——17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列
科技D人生
05-09 1411
本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。 一、资料文档 Kafka：中。有kafka作者自己写的书，网上资料也有一些。 rabbitmq：多。有一些不错的书，网上资料多。 zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。 rocketmq：少。没有专门写rock...
深入探究Kafka：高吞吐量与低延迟背后的技术原理
击水三千里的专栏
07-16 1052
1.kafka 吞吐量高的原因 1、页缓存技术 + 磁盘顺序写 操作系统本身有一层缓存，叫做page cache，是在内存里的缓存，我们也可以称之为os cache，意思就是操作系 统自己管理的缓存。 你在写入磁盘文件的时候，可以直接写入这个os cache里，也就是仅仅写入内存中，接下来由操作系统自己决定 什么时候把os cache里的数据真的刷入磁盘文件中 接着另外一个就是kafka...
RocketMQ高并发高吞吐量的原理
xzh_blog
03-04 3690
路由中心（NameServer） NameServer通过集群部署，为追求简单高效NameServer彼此之间互不通信。 NameServer与每台Broker服务器保持长连接，并间隔30s检测Broker是否存活，如果检测到Broker宕机，则从路由注册表中将其移除。但是路由变化不会马上通知消息生产者，降低NameServer实现的复杂性，在消息发送端提供容错机制来保证消息发送的高可用性。 消息生产者（Producer） 消息生产者集群部署。 本地缓存topic路由信息，如果本地路由表中未缓存t
11.RocketMQ--10万级吞吐的原因
qq_24223159的博客
04-18 1223
文章目录MappedByteBufferMessageStore总结 转载:https://blog.csdn.net/w7sss/article/details/123757467 rocketmq能够抗住10万级吞吐的高性能消息持久化组件—MessageStore 它是一个commitlog存储服务，底层使用了c语言的内存映射函数mmap，实现了内存零拷贝 MappedByteBuffer MappedByteBuffer是mmap的java实现，继承自ByteBuffer，它是一个映射了的字节缓冲区，
阿里二面：RockeMQ 是如何通过 mmap 大幅提升单机吞吐量的？
m0_73311735的博客
05-06 612
可靠的FIFO和严格有序的消息队列中间件。2011年：业界出现了现在被很多大数据领域所推崇的Kafka消息引擎，阿里巴巴在研究了Kafka的整体机制和架构设计之后，基于Kafka的设计使用Java进行了完全重写并推出了MetaQ 1.0版本，主要是用于解决顺序消息和海量堆积的问题。我们知道，在操作系统的中，数据通常都是被放在磁盘中的，只有在需要计算的时候，才会将数据加载到内存中，而每次加载的单位都是以“页”作为基础，假设我们需要访问一块存在于磁盘，但是没有被加载到内存中的数据，这种情况，我们称之为。
阿里面试: RocketMQ如何实现每秒上十万QPS的超高吞吐量读取的？
最新发布
程序员江小北
10-08 1139
总的来说，RocketMQ能实现每秒上十万QPS的超高吞吐量，靠的就是这些个聪明的策略和优化。它在存储、读取、I/O、网络交互以及数据复制上都动了不少脑筋，每一块儿都拿捏得死死的。你别看它搞得玄乎，其实就是把咱们开发中遇到的瓶颈一个一个给突破了。RocketMQ不止是快，更重要的是稳。稳到你几乎感觉不到它的存在，一切都在后台默默搞定。这也就解释了为啥这么多人爱用它——少折腾，效率高。最近无意间获得一份阿里大佬写的刷题笔记，一下子打通了我的任督二脉，进大厂原来没那么难。这是大佬写的，
消息队列：Kafka吞吐量为什么比RocketMQ大
qq_64680177的博客
08-05 1244
mmap返回的值可以让应用层获取到消息内容，可以进行一些逻辑处理，但sendfile返回的只是已经传输的字节数，具体发送了什么内容，内容层无法得知。而RocketMQ的一些功能需要具体了解到发送了什么消息才能实现（二次投递）。而Kafka主要追求吞吐量，也就不需要这些独特的功能，所以选择sendfile（）文件，以达到更高的吞吐量。 所以不同消息队列都有自己的特征，并不是说Kafka的架构就比RocketMQ比好，而是他们各自的选择。
Kafka 面试题及参考答案（持续更新）
大模型大数据攻城狮的专栏
03-26 410
这些副本分布在不同的 broker 上，其中一个副本是领导者，其余的是追随者。如果当前的领导者副本发生故障，集群中的其他副本（即追随者副本）会通过 Zookeeper 进行新的领导者选举。一旦选举出新的领导者，所有的读写请求都会转移到新的领导者副本上，从而确保服务的连续性。消息积压通常发生在消费者无法及时消费消息，导致生产者不断发送消息到 Kafka 集群，而消费者处理速度跟不上的情况。消息积压通常发生在消费者无法及时消费消息，导致生产者不断发送消息到 Kafka 集群，而消费者处理速度跟不上的情况。
Kafka
小道的博客
11-23 2155
Kafka知识点汇总
flume+kafka集群解决某著名联锁大型超市超过25年POS线下收单系统变实时系统的典型案例
lifetragedy的专栏
10-04 1002
这是一篇流批一体技术在国内某大型超市全国300家店以及全球总部的实际落地的案例。如何无痛的给一个25年+有着上千家超市的线下POS系统赋能使得其订单、促销、变价可以实时化？我们正是使用了流批一体的架构去进行的改造。在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业内做了分享，该方案还被其它3家超级百货集团（规模都在：超百家门店、上千个POS）所学习和取经，而这个方案至今被其它几家超级百货集团延用至今。
Kafka与Rocketmq生产者生产吞吐量比测报告
qq_37844106的博客
05-12 1987
前言 本人才疏学浅，所设计测试方法及程序可能并不合理，欢迎批评指正。 Linux环境 centos7，3g运行内存，30g存储内存 Kafka测试原思路 条件：单主题、单副本、单节点 采用方法：使用自带测试脚本，消息总数不变，增加每秒发送消息数，延迟最低时接近最大吞吐量。 执行命令如下（消息总数每次执行时进行修改）： 问题：后续模拟多主题环境困难 bin/kafka-producer-perf-test.sh --num-records 10000000 --record-size 1024 --topic
Kafka为什么⽐RocketMQ的吞吐量要⾼
qq_33240556的博客
01-13 587
Kafka的⽣产者采⽤的是异步发送消息机制，当发送⼀条消息时，消息并没有发送到Broker⽽是缓存起来，然后直接向业务返回成功，当缓存的消息达到⼀定数量时再批量发送给Broker。● 磁盘顺序读写：kafka消息不能修改以及不会从⽂件中间删除保证了磁盘顺序读，kafka的消息写⼊⽂件都是追加在⽂件末尾，不会写⼊⽂件中的某个位置(随机写)保证了磁盘顺序写。Broker在启动的时候向所有的NameServer注册，并保持⻓连接，每30s发送⼀次⼼跳。kafka⾼性能的原因。● 数据传输的零拷⻉。
好文笔记+RocketMQ吞吐量保证——零拷贝
u014783007的博客
10-28 629
原文：原来 8 张图，就可以搞懂「零拷贝」了_小林coding-CSDN博客 原作者写的无可挑剔，又涵盖很全，我这里就只做读书笔记好了，为原作者点赞！ 目录 一、DＭＡ 1.1为什么要有 DMA 技术? 1.2传统IO过程和用户态内核态切换 二、如何实现零拷贝 2.1 mmap+write 2.2 sendfile 三、PageCache 总结 一、DＭＡ 1.1为什么要有 DMA 技术? 在没有 DMA 技术前，I/O 的过程是这样的： CPU 发出对应的指令给磁盘控制器，...
阿里面试:为什么kafka比RocketMQ吞吐量更高?
2301_80102608的博客
08-07 1377
RocketMQ 和 Kafka 相比，在架构上做了减法，在功能上做了加法：RocketMQ 简化了协调节点和分区以及备份模型，同时增强了消息过滤、消息回溯和事务能力，加入了延迟队列、死信队列等新特性。凡事皆有代价：RocketMQ 牺牲了一部分性能，换取了比 Kafka 更强大的功能特性。尽管 RocketMQ 参考了 Kafka 的架构，但由于在设计上的不同目标、结构差异以及实现细节上的不同，RocketMQ 在性能上无法完全达到 Kafka 的水平。
RocketMQ为什么这么快？我从源码中扒出了10大原因！
m0_69632475的博客
03-13 910
在传统IO中，如果想将用户缓存区的数据放到内核缓冲区，需要经过CPU拷贝而基于零拷贝技术可以减少CPU拷贝次数，常见的有两种：mmap()sendfile()mmap()是将用户缓冲区和内核缓冲区共享，操作用户缓冲区就好像直接操作内核缓冲区，读写数据时不需要CPU拷贝Java中可以使用MappedByteBuffer这个API来达到操作内核缓冲区的效果sendfile()主要是用于文件传输，可以通过sendfile()将一个文件内容传输到另一个文件中或者是网络中。
Kafka 为什么比 RocketMQ 的吞吐量要高
lcb1424556301的博客
02-19 699
Kafka 的生产者采用的是异步发送消息机制，当发送一条消息时，消息并没有发送到 Broker 而是缓存起来，然后直接向业务返回成功，当缓存的消息达到一定数量时再批量发送给 Broker 。这种做法减少了网络 io ，从而提高了消息发送的吞吐量，但是如果消息生产者宕机，会导致消息丢失，业务出错，所以理论上 kafka 利用此机制提高了性能却降低了可靠性。
key rocketmq 有什么用_RocketMQ 如何保证吞吐量优先
weixin_31156945的博客
12-27 405
前言在 Broker端进行消息过滤消息的Tag和Key通过 Tag 进行过滤用 SQL 表达式的方式进行过滤Filter Server方式过滤提高 Consumer 处理能力Consumer 的负载均衡提高 Producer 的发送速度《RocketMQ实战与原理解析》前言 本章介绍在大流量场景下,提高 RocketMQ 集群吞吐量的一些方法,有些方法当服务器出异常时会增大丢消息的概率,...
【转载】高并发异步解耦利器：RocketMQ究竟强在哪里？
软件工程探索之旅
01-30 227
rocketMq全面整理，可观全局，值得一读
在单机同步发送的场景下，Kafka>RocketMQ，Kafka的吞吐量高达17.3w/s，RocketMQ吞吐量在11.6w/s。
08-09
如你所提及，Kafka的吞吐量可以达到17.3万消息每秒（messages per second, mps），而RocketMQ的吞吐量则为11.6 w/s。这种性能差异可能归因于Kafka的设计特点，它专为高吞吐量和低延迟而优化，包括支持多分区、复制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值