如何选择开源消息中间件

本文将对目前流行的几种消息中间件进行总结和对比，选取了Kafka，RocketMQ，RabbitMQ，希望能借助此文，让读者对常见的消息中间件有所了解，日后在工作中进行选择时能有所帮助。

[0]

Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。

RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

@hxlee：RocketMQ 在双十一中证明了自己的实力，kafka是我们非常容易选择的一种产品！

[1]

消息中间件需要具备的基础能力有哪些：

1：消息生产的能力

2： 消息消费的能力

3： 占用资源情况

4：高级特性，譬如：不丢不重 + 一致性时序性 + 分布式事务 等等

@hxlee：某些特性的比较，将会仅仅在RocketMQ  和kafka 之间进行，因为两者可比性比较大。

上面的能力，各个消息队列的能力值如何，拭目以待。

1：消息生产能力，如图：

在同步发送场景中，三个消息中间件的表现区分明显：

Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。

RocketMQ也表现不俗，吞吐量在11.6w/s，磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack，由单独的线程专门做刷盘的操作，所有的消息均是顺序写文件。

RabbitMQ的吞吐量5.95w/s，CPU资源消耗较高。它支持AMQP协议，实现非常重量级，为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试，吞吐量在2.6w/s左右。

2： 消费能力：，如图：

读者可以提前理解topic 和partition的概念

相似点：Kafka和RocketMQ都是磁盘消息队列的模式，并且一个分区只会分配给一个消费者，分区数目和消费能力挂钩。

差异：RocketMQ 在topic 数目比较大时候（>100），吞吐量的稳定性依然保持比较好，而kafka则呈现倍数下降。

3： 占用资源情况，如图

完整的文章在公众号上，读者可以扫描前往或者搜索“蝙蝠侠Lee”，这样更加方便，谢谢大家对原创的支持