Kafka、RabbitMQ、RocketMQ消息中间件的对比

17人阅读 评论(0) 收藏 举报
分类:

Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能-转自阿里中间件

引言

分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。

那么,消息中间件性能究竟哪家强?

带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。

Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。

RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

测试目的

对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:

不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。

测试场景

在同步发送场景中,三个消息中间件的表现区分明显:

Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。

RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。

RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。

测试结论

在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。

附录:

测试环境

服务端为单机部署,机器配置如下:

应用版本:

测试脚本

未完待续

前面我们对比了最简单的小消息发送场景,Kafka暂时胜出。但是,作为经受过历次双十一洗礼的RocketMQ,在互联网应用场景中更有它优越的一面。

接下来我们会围绕分区数量、消息大小、消费形式等不同的影响因子,对三类消息中间件做对比。敬请期待后续报告!

软件-注重思想、逻辑

 转载于:http://www.cnblogs.com/felixzh/p/6198070.html

查看评论

Kafka、RabbitMQ、RocketMQ等消息中间件的对比 —— 消息发送性能和区别

原文:http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/?utm_sourc...
  • yunfeng482
  • yunfeng482
  • 2017-06-04 01:59:36
  • 10638

消息中间件kafka与activeMQ、rabbitMQ、zeroMQ、rocketMQ的比较

一、kafka1、不完全符合jms规范,注重吞吐量,类似udp 和 tcp2、一般做大数据吞吐的管道 我们现在的用途就是负责在各个idc之间通信3、量大对数据不是百分之百保证的,会有数据丢失,不是百分...
  • zhailihua
  • zhailihua
  • 2018-01-06 17:34:51
  • 271

消息中间件kafka与activemq、rabbitmq、zeromq、rocketmq的比较

  • 2017年10月30日 16:06
  • 59KB
  • 下载

Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能

Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能 http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq...
  • huaweitman
  • huaweitman
  • 2016-11-16 11:26:13
  • 497

MQ选型对比RabbitMQ RocketMQ ActiveMQ Kafka

MQ选型对比文档 综合选择RabbitMq
  • oMaverick1
  • oMaverick1
  • 2016-05-06 13:44:04
  • 45963

关于消息队列的使用----ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ

一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,Rabbi...
  • konglongaa
  • konglongaa
  • 2016-08-15 09:22:33
  • 12085

RocketMQ与kafka对比(18项差异)-转自阿里中间件

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kaf...
  • paincupid
  • paincupid
  • 2018-03-28 06:57:18
  • 87

消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解...
  • u013256816
  • u013256816
  • 2018-04-07 00:56:44
  • 206

几款消息中间的调研

消息系统简介 本次主要调研业界使用广泛的两款消息队列——RabbitMQ, Kafka, 以及阿里云的提供的两个服务, MNS和ONS. RabbitMQ RabbitMQ 是使用Erl...
  • kobejayandy
  • kobejayandy
  • 2016-09-17 23:07:33
  • 1845

消息队列选型[首选Kafka](备选:RabbitMQ/NSQ/RocketMQ/disque/Kafka)

消息队列选型 Sep 27, 2015 什么是消息队列 顾名思义,消息队列就是用存放消息的队列结构,简称MQ。那什么是消息呢?广义上来说,所有的网络通信都可以看做是消息的传递。在通信的过程中,添...
  • scut1135
  • scut1135
  • 2016-01-31 09:59:08
  • 16298
    个人资料
    等级:
    访问量: 0
    积分: 249
    排名: 0
    文章存档