Kafka/RocketMQ架构对比

最新推荐文章于 2024-05-14 10:01:47 发布
最新推荐文章于 2024-05-14 10:01:47 发布
阅读量441 收藏 2
点赞数
文章标签： 队列 分布式 kafka java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvlei19911108/article/details/118051233
版权
本文对比分析了Kafka与RocketMQ在Broker设计、ZK与NameSrv的角色区别。Kafka的Broker是物理概念，可以同时是Leader和Follower，而RocketMQ的Master/Slave是固定的物理角色。Kafka依赖ZK做元数据管理和选举，RocketMQ则使用无状态的NameSrv，简化了架构，但也带来了通信成本高和一致性问题。
摘要由CSDN通过智能技术生成

一、Broker设计对比

1. Kafka
image
  • Topic A共有2个分区，每个分区有两个副本(一个Leader一个Follower)，分别分布在 Broker0 和 Broker1 上；
  • Broker0/Broker1每台机器既是Leader，也是Follower。具体来说，比如机器Broker0对于Partition0来说是Master，对于Partition1来说又是Follower；
2. RocketMQ
image
  • Broker集群中有Broker0和Broker1为Leader，每个Broker有两个Slave，共6台机器；
  • Master0/Slave0_0/Slave0_1/Master1/Slave1_0/Slave1_1每台机器通过配置固定只能充当Master或Slave；
  • TopicA在Broker0上有两个队列，在Broker1上有两个队列；
3. 对比

1.Kafka的Leader/Follower是个逻辑概念，1台机器可以同时具有Leader角色和Follower角色；RocketMQ的Master/Slave是个物理概念，1台机器，只能是Master或者Slave。在集群初始配置的时候，指定死的；2.Kafka的Broker是个物理概念，1个broker就对应1台机器。 RocketMQ的Broker是个逻辑概念，1个broker = 1个master + 多个slave，brokerName相同，Master的brokerId=0࿰

最低0.47元/天 解锁文章
码农老K
关注
kafka与RocketMQ对比
iie_libi的博客
03-02 1921
kafka与rocketmq的差异，参考链接：http://jm.taobao.org/2016/03/24/rmq-vs-kafka/ 总体 kafka无限消息堆积，高效持久化，适合海量日志处理rocketmq增加了事物支持，适用于订单，交易，充值等场景，支持定时消息，消息重试，消息回溯，广播消费，消息轨迹查询，消息查询等。 消息可靠性 rocketmq支持同步刷盘，异步刷盘
RocketMQ与Kafka架构深度对比
码到三十五
02-14 5046
RocketMQ的系统设计更偏向于队列模型，提供了丰富的消息队列语义，如顺序消息、事务消息和定时消息等。在扩展性方面，Kafka的Broker是无状态的，可以方便地进行横向扩展，提高系统的吞吐量和可用性。本文将深入对比分析RocketMQ与Kafka在架构设计、组件构成、数据流向、扩展性、容错性和一致性等方面的差异，帮助读者更好地理解这两款消息中间件的特点和适用场景。未来，我们可以期待RocketMQ与Kafka在性能优化、功能增强和生态扩展等方面取得更多的突破和创新，为分布式系统的发展注入新的活力。
rocketMq和kafka的架构区别
男儿当自强
11-25 350
概述 其实一直想写一篇rocketMq和kafka在架构设计上的差别，但是一直有个问题没搞明白所以迟迟没动手，今天无意中听人点播了一下似乎明白了这个问题，所以就有了这篇对比。 这篇博文主要讲清楚kafka和rocketMq的两个不同点，1、rocketMq的namesvr和kafka的zookeeper对比；2、kafka为什么比rocketMq有更大的吞吐量。如果能够讲清楚上面两个问题我觉得就已经很满足了。 最后，文章引入的参考文章里面有一些比较好的链接，有兴趣的话可以好好看...
分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖？
怪盗基德
04-16 2152
我们知道，在早期的RocketMQ版本中，是有依赖ZK的。而现在的版本中，是去掉了对ZK的依赖，转而使用自己开发的NameSrv。 并且这个NameSrv是无状态的，你可以随意的部署多台，其代码也非常简单，非常轻量。 那不禁要问了：ZooKeeper是业界用来管理集群的一个非常常用的中间件，比如Kafka就是依赖的ZK。那为什么RocketMQ要自己造轮子，自己做集群的管理呢？纯粹就是
Kafka与RocketMq比较
weixin_51594609的博客
11-17 1735
MQ全称 Message Queue，也就是消息队列，是应用程序之间的通信方法。业务异步解耦解耦微服务流量削峰消息分发分布式事务的数据一致性。关于RocketMQ与Kafka从架构设计，数据可靠性，性能对比，消息投递实时性，消费失败重试，严格的信息顺序，定时信息，消息事务，故障恢复，使用场景，十大方面进行比较。
RocketMQ与Kafka架构深度对比_kafka与rocketmq多方面剖析
2401_84166836的博客
04-08 1830
外链图片转存中…(img-OsrRK31S-1712532856583)]
【中间件系列】Kafka 与 RocketMQ几件事
qq_35789269的博客
09-03 745
rocket和kafak
消息队列原理和选型：RabbitMQ、Kafka、RocketMQ和ActiveMQ
飞楼踏梦
02-26 2552
RabbitMQ、Kafka、RocketMQ和ActiveMQ，肝了我一个月，原理是什么，如何选型，本文会告诉你答案。 往期精选： 如何看待程序员35岁职业危机？ Java全套学习资料（14W字），耗时半年整理 消息队列：从选型到原理，一文带你全部掌握 MySQL：资料大放送，告诉你如何学习MySQL 我肝了三个月，为你写出了GO核心手册 更多... 消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用Rabb...
2024年最新RocketMQ与Kafka架构深度对比_kafka与rocketmq多方面剖析，2024年最新实践出真知
最新发布
2401_84615578的博客
05-14 1163
面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
RocketMQ与Kafka深度对比：消息中间件的选择之战
fudaihb的博客
04-26 4573
本文旨在深入探讨RocketMQ与Kafka的各项特性和差异，帮助读者更好地理解两者的优缺点，从而在实际应用中做出明智的选择。我们将从基本概念和架构对比开始，逐步深入到性能、可靠性、易用性、扩展性、事务消息支持、部署与运维等多个方面进行全面的对比分析。最后，我们还将通过实战案例和经验总结，为读者提供更加实用和具体的参考，希望能够为大家在消息中间件的选择之路上提供有力的支持和指导。
RocketMq架构简析
lvlei19911108的博客
05-16 279
Apache RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件。整体结构 RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可以分片存储于集群中的不同的Broker Gro...
消息队列 Kafka\RocketMq
JaweG
12-21 1588
mq
RocketMQ：与Kafka对比应用场景及组成架构
BoringError的博客
01-15 2054
RocketMQ 是阿里巴巴开源的分布式消息中间件，前身为阿里内部消息系统Notify及MetaQ。RocketMQ被广泛应用于电商、订单、金融等分布式应用领域。
Kafka与Rocketmq的区别
aasoga的博客
02-02 4790
系统一直使用的Kafka用来消费业务流水，最近在群里听到反馈说希望转到Rocketmq，支持更多的业务功能，因此去了解了一下，发现相比之下Kafka确实应用场景 太少了，基本就是消费日志，相比之下Rockmq有很多优秀的特性，下面具体介绍一下。 Kafka 首先介绍一下Kafka，Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，比较常用于日志收集系统，和消息系统等 1、可以以时间复杂度为O(1)的方式提供消息持久化能力，对TB以上的数据也能保持常数时间
9~RocketMQ整体架构详解
wulitaot的博客
03-15 660
RocketMQ源码包下有9个模块:rocketmq-brokerrocketmq-storerocketmq-commonrocketmq-srvutilrocketmq-toolsrocketmq-namesrvrocketmq-remotingrocketmq-clientrocketmq-filtersrv#模块介绍rocketmq-broker对consumer和producer来说是服...
Kafka vs RocketMQ——单机系统可靠性
purple尘的专栏
07-25 595
传送门：http://jm.taobao.org/2016/04/28/kafka-vs-rocktemq-4/
RocketMQ与Kafka差异对比：从架构到性能细节，解析两者在可靠性、扩展性和可用性等方面的优劣
资料免费分享，点击名片
10-24 1373
即消费并行度和分区数一致。卡夫卡不支持代理端的消息过滤RocketMQ支持两种代理端消息过滤方式根据消息变量来过滤，相当于子主题概念向服务器上传一段Java代码，可以对消息做任意形式的过滤，甚至可以做Message身体的过滤拆分。卡夫卡不支持消息查询RocketMQ支持根据消息标识查询消息，也支持根据消息内容查询消息（发送消息时指定一个消息密钥，任意字符串，例如指定为订单编号）卡夫卡理论上可以按照偏移来回溯消息RocketMQ支持按照时间来回溯消息，精度毫秒，例如从一天之前的某时某分某秒开始重新消费消息。
Kafka和Rabbitmq的最大区别
dfpvp84886的专栏
02-08 249
功能上，两者都是实现了AMQP协议。那么在使用上的最大区别是什么呢？如何根据自己的需求进行选型？ kafka是严格顺序保证的消息队列。即使在分布式环境下，也保证在同一分区内消息的顺序性。既然是顺序的，那么在同一个Topic下面，如果前面的消息没有消费完毕（收到回应），则不能读取下一条消息。那么在消费端，就变成了一个单线程操作，无法并发。虽然kafka可以通过分区实现并发，不过这个需要用...
rocketmq 和rabbitmq和kafka架构对比
05-25
RocketMQ、RabbitMQ 和 Kafka 都是当前主流的消息中间件，它们的架构设计有所不同： 1. RocketMQ RocketMQ 是一款分布式消息中间件，采用了类似于 Kafka 的架构设计，具有高吞吐量、高可用性、高可靠性等优点。RocketMQ 的架构包括 Producer、Broker 和 Consumer 三部分。Producer 将消息发送给 Broker，Broker 存储消息并负责消息的传递和路由，Consumer 从 Broker 消费消息。 2. RabbitMQ RabbitMQ 是一个基于 AMQP 协议的消息中间件，采用了类似于 JMS 的架构设计，支持多种消息协议。RabbitMQ 的架构包括 Producer、Exchange、Queue 和 Consumer 四部分。Producer 发送消息到 Exchange，Exchange 根据消息的路由规则将消息发送到对应的 Queue，Consumer 从 Queue 消费消息。 3. Kafka Kafka 是一个高吞吐量的分布式消息中间件，采用了类似于日志的架构设计。Kafka 的架构包括 Producer、Broker 和 Consumer 三部分。Producer 将消息发送到 Broker，Broker 存储消息并负责消息的传递和路由，Consumer 从 Broker 消费消息。Kafka 还引入了一种称为 Topic 的概念，可以将消息按照一定的规则分组存储，方便管理和查询。 总的来说，RocketMQ 和 Kafka 的架构设计比 RabbitMQ 更适合高吞吐量、高可靠性的场景。而 RabbitMQ 则更适合需要支持多种消息协议的场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农老K

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值