RabbitMQ、RocketMQ、Kafka为啥性能差别这么大

    RabbitMQ、RocketMQ、Kafka都是目前流行的消息队列中间件，它们各自有不同的设计思路和特点，在性能方面也存在差异。

首先，RabbitMQ是基于Erlang语言实现的，Erlang语言天生适合高并发分布式场景。RabbitMQ针对AMQP协议进行优化，通过ACK确认机制保证消息的可靠性，将消息存储在磁盘中并支持镜像队列，同时支持多种交换机类型和路由策略。但是，RabbitMQ对于消息吞吐量和延迟方面并不是很擅长，因此在大规模高并发的场景下可能会出现性能不足的情况。

 

RocketMQ设计思路和Kafka比较相似，也是采用了纯Java编写，通过顺序写磁盘的方式进行消息存储，支持多种消息协议（例如JMS）、多种消息校验和压缩方式以及多种消息队列模型。RocketMQ还实现了分布式事务，因此可以在高并发场景下保证消息的可靠性和一致性。相对来说，RocketMQ在性能和可靠性上做得比较好，但在其他方面表现稍显欠缺。

 

Kafka被誉为高吞吐量、低延迟的分布式消息中间件，在大数据和实时计算场景中发挥着重要作用。Kafka采用了基于日志的架构思路，通过批量处理和索引技术来提高消息吞吐量，支持水平扩展和消息分区等特性。同时，Kafka还可以将数据进行持久化存储，并提供了相对比较完善的监控和管理工具。Kafka的性能和可伸缩性都很好，在分布式、高并发、海量数据处理的场景下表现亮眼。

因此，不同的中间件具有不同的设计理念和优劣势，选择哪种中间件需要根据具体场景和业务需求来综合考虑。

    以下是RabbitMQ、RocketMQ和Kafka中间件的一些主要差别：

1. 底层基础架构

RabbitMQ使用Erlang编写，这种语言有天然的并发处理能力。RocketMQ使用Java，是Apache基金会下的顶级开源项目之一。Kafka也使用Java编写。

2. 数据存储机制

RabbitMQ支持消息持久化，可以将消息存储在磁盘上，并可以使用哈希或镜像队列以及多种交换机类型；

RocketMQ被设计为支持幂等性，复制和定时传输消息; 另外，RocketMQ只能存储较小的消息，但可以快速处理大量事务数据；

Kafka采用基于日志的消息存储系统，减少了在网络传输上的耗时。它将所有消息追加到一个可变的日志中，该日志可以使用简单的线性读取来保证数据的序列化和持久性；

3. 性能

RocketMQ在吞吐量和延迟方面都比较出色,具有良好的扩展性和高消息可靠性；

RabbitMQ在大规模高并发的情况下可能会出现性能瓶颈。同时也存在一定的数据丢失的风险；

Kafka则擅长高吞吐量和低延迟，适用于大数据和实时计算场景下。

4. 生态系统和社区

RabbitMQ和RocketMQ作为较早的消息队列中间件，社区较为成熟，拥有较为完善的开发文档以及社区支持。Kafka则由Apache基金会维护，并且在社区上备受瞩目。

综上所述，这三种中间件各具特色，应根据实际使用需求详细评估其优缺点，从而做出合适的选择。

    这里我以消息队列处理吞吐量为例，说明RabbitMQ、RocketMQ和Kafka之间的性能差别。其中，为了避免其他因素的干扰，我们分别使用它们单独的测试工具进行测试，并且所有的测试工具所在的主机配置相同。

测试环境如下：

- 操作系统：Ubuntu 18.04

- CPU: Intel(R) Core(TM) i7-7700HQ CPU @ 2.80GHz

- Memory: 16GB

测试结果如下（单位：messages/s）：

1. 使用RabbitMQ测试工具amqp-perf进行测试，主机充当生产者和消费者。

| 并发连接数 | 发送方吞吐量 | 接收方吞吐量 |

| --------|---------|---------|

| 1 | 2353 | 2311 |

| 10 | 11520 | 11625 |

| 50 | 54277 | 53987 |

2. 使用RocketMQ测试工具benchmark进行测试，主机充当生产者和消费者。

| 并发连接数 | 发送方吞吐量 | 接收方吞吐量 |

| --------|---------|---------|

| 1 | 6800 | 6700 |

| 10 | 71000 | 68000 |

| 50 | 298000 | 285000 |

3. 使用Kafka测试工具kafka-producer-perf-test和kafka-consumer-perf-test进行测试，分别充当生产者和消费者。

| 并发连接数 | 发送方吞吐量 | 接收方吞吐量 |

| --------|---------|---------|

| 1 | 12699 | 11268 |

| 10 | 53396 | 47397 |

| 50 | 243\/s | 236\/s |

通过上述数据可以看出，RocketMQ在吞吐量和延迟方面都表现比较出色，适用于海量数据的高吞吐量场景；而RabbitMQ在大规模高并发的情况下性能稍弱，但具有消息可靠性高的优点；Kafka则是一款更加通用、可扩展性更强的中间件。综合考虑各自特点进行选择。