RocketMQ与Kafka对比（18项差异）评价版

RocketMQ与Kafka对比（18项差异）

2015-02-28 王启军 奔跑中的蜗牛

此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单、充值等场景下还有诸多特性不满足，为此我们重新用Java语言编写了RocketMQ，定位于非日志的可靠消息传输（日志场景也OK），目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景。

为了方便大家选型，整理一份RocketMQ与Kafka的对比文档，文中如有错误之处，欢迎来函指正。vintage.wang@gmail.com

数据可靠性

· RocketMQ支持异步实时刷盘，同步刷盘，同步Replication，异步Replication

· Kafka使用异步刷盘方式，异步Replication

王启军评：这个地方描述有问题，kafka无法设置同步刷盘，但是可以设置同步Replication，使用request.required.acks=-1，所有的replicas 接收才返回ack。

总结：RocketMQ的同步刷盘在单机可靠性上比Kafka更高，不会因为操作系统Crash，导致数据丢失。 同时同步Replication也比Kafka异步Replication更可靠，数据完全无单点。另外Kafka的Replication以topic为单位，支持主机宕机，备机自动切换，但是这里有个问题，由于是异步Replication，那么切换后会有数据丢失，同时Leader如果重启后，会与已经存在的Leader产生数据冲突。开源版本的RocketMQ不支持Master宕机，Slave自动切换为Master，阿里云版本的RocketMQ支持自动切换特性。

王启军评：首先明确第一个问题，就算异步刷盘，当broker挂掉时，数据是不会丢失的，只有系统crash才会造成丢失，前面指出，虽然kafka是异步落盘，但是在集群模式下，可以设置同步replication，如果是同步replication，复制因子为N