MQ(Message Quene):消息队列,典型的生产者/消费者模型,生产者 不断向消息队列中生产消息,消费者不断地从消息队列中获取并消费消息。因为消息的产生和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松地实现系统间解耦,所以又称为消息中间件。MQ通过利用高效可靠的消息传递机制进行平台无关的数据交互,并基于数据通信来进行分布式系统的集成。
主流MQ:老牌的ActiveMQ、RabbitMQ、炙手可热的Kafka、阿里自研的RocketMQ。
不同消息中间件的区别:
MQ | 简介 |
---|---|
ActiveMQ | ActiveMQ是Apache产品,最流行,能立 强劲的消息总线。它是一个完全支持JMS规范的消息中间件。丰富的API,多种集群架构模式让ActiveMQ在业界成为老牌的消息中间件,在中小型企业颇受欢迎;但是其吞吐量不高,性能瓶颈明显,所以目前火热程度下降,不被中大厂所使用。 |
RabbitMQ | RabbitMQ是使用Erlang 语言开发的开源消息队列系统[该语言处理MQ并发性能不错],基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。 |
Kafka | Kafka是LinkedIn开源的分布式发布/订阅消息系统,目前归属于Apache顶级项目。Kafkaz主要特点是基于Pull的模式来处理消息的消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求[大数据领域对于小数据的丢失是可以容忍的],适合产生大量数据的互联网服务的数据收集业务。 |
RocketMQ | RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠性传输和事务性做了优化[该部分功能不开源],目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。 |
RocketMQ比Kafka可靠,Kafka更适合IO高吞吐的处理,一般应用在大数据处理或对实时性(少量延迟),可靠性(少量丢数据)要求稍低的场景使用,比如ELK日志收集;RabbitMQ目前业内最为流行,采用AMQP协议(点对点/路由/发布订阅)适用于多种业务场景,与spring框架无缝对接,spring默认集成RabbitMQ。