什么是MQ?
MQ全称为Message Queue,即消息队列面向消息的中间件。生产者往消息队列中写消息,消费可以读取队列中的消息。
是指利用高效可靠的消息传递机制与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型在分布式环境下提供应用解耦,弹性伸缩,冗余存储、流量削峰,异步通信,数据同步等功能。
大致的过程是这样的:发送者把消息发送给消息服务器,消息服务器将消息存放在若干队列/主题topic中,在合适的时候,消息服务器回将消息转发给接受者。在这个过程中,发送和接收是异步的,也就是发送无需等待,而且发送者和接受者的生命周期也没有必然的关系;尤其在发布pub/订阅sub模式下,也可以完成一对多的通信,即让一个消息有多个接受者。
MQ主要作用
- 异步:调用者无需等待,异步进行处理;
- 解耦:解决了系统之间耦合调用的问题;
- 消峰:抵御洪峰流量,保护了主业务;
MQ的优缺点
优点:
-
采用异步处理模式:消息发送者可以发送一个消息而无须等待响应。消息发送者将消息发送到一条虚拟的通道(主题或者队列)上;消息接收者则订阅或者监听该爱通道。一条消息可能最终转发给一个或者多个消息接收者,这些消息接收者都无需对消息发送者做出同步回应。整个过程都是异步的;
-
应用系统之间解耦合发送者和接受者不必了解对方,只需要确认消息。发送者和接收者不必同时在线。
-
可对高流量进行削峰,保证系统的平稳运行。
缺点:
- 系统可用性降低,一般而言,引入的外部依赖越多,系统越脆弱,每一个依赖出问题都会导致整个业务链路出现问题;
- 系统复杂度提高,要考虑各种情况,例如消息的幂等性、消息的丢失、消费顺序等;
- 分布式事物,数据一致性问题;
各类MQ对比
MQ只是一种理念,天上飞的理念,必然有落地的实现。不管是哪款消息中间件,都有如下一些技术维度:
技术维度 | ActiveMQ | RocketMQ | RabbitMQ | Kafka |
---|---|---|---|---|
PRODUCER-CUMSUMER | 支持 | 支持 | 支持 | 支持 |
PUBLISH-SUBSCRIBE | 支持 | 支持 | 支持 | 支持 |
REQUEST-REPLY | 支持 | 支持 | 支持 | * |
API完整性 | 高 | (静态配置) | 高 | 高 |
文档完整性 | 高 | 中 | 高 | 高 |
多语言支持 | 支持,Java优先 | 支持 | 语言无关 | 支持,Java优先 |
单机吞吐量 | 万级 | 万级 | 万级 | 十万级 |
消息延迟 | * | * | 微秒级 | 毫秒级 |
可用性 | 高(主从) | 高 | 高(主从) | 非常高(分布式 |
消息丢失 | * | * | 低 | 理论上不会丢失 |
消息重复 | * | * | 可控 | 理论上会有重复 |
快速入门 | 有 | 无 | 有 | 有 |
首次部署难度 | * | 高 | 低 | 中 |
编程语言 | Java | Java | erlang | scala |
应用领域 | 中小型项目 | 大型项目,集群 | 中大型项目 | 大数据 |