消息队列的流派

什么是MQ

Message Queue(MQ), 消息队列中间件, 很多人都说: MQ通过将消息的发送和接收分离来实现应用程序的异步和解耦, 这个给人的直觉是—MQ是异步的, 用来解耦的, 但是这个只是MQ的效果而不是目的, MQ真正的目的是为了通信, 屏蔽底层复杂的通讯协议, 定义了一套应用层的, 更加简单的通讯协议。一个分布式系统中两个模块之间通讯要么是HTTP, 要么是自己开发的TCP, 但是这两种协议其实都是原始的协议。HTTP协议很难实现两端通讯—模块A可以调用B, B也可以主动调用A, 如果要做到这个两端都要背上WebServer, 而且还不支持长连接。TCP就更加原始了, 粘包, 心跳, 私有的协议, 想一想头皮就发麻。MQ所要做的就是在这些协议之上构建一个简单的协议-生产者/消费者模型。MQ带给我的协议不是具体的通信协议, 而是更高层次通讯模型。它定义了两个对象—发送数据的叫生产者; 接收数据的叫消费者, 提供一个SDK让我们可以定义自己的生产者和消费者实现消息通讯而无视底层通讯协议

有Broker的MQ

这个流派通常有一台服务器作为Broker, 所有的消息都通过它中转。生产者把消息发送给它就结束自己的任务了, Broker则把消息主动推送给消费者(或者消费者主动轮询)

为什么需要消息队列(MQ)?

主要原因是由于在高并发环境下, Db永远是短板, 由于来不及同步处理, 请求往往会发生阻塞, 比如说, 大量的insert, update之类的请求同时到达MySQL, 直接导致无数的行锁表锁, 甚至最后请求线程会推积过多, 从而触发too many connections错误。一波一波雪崩效应。通过使用消息队列, 我们可以异步处理请求, 从而缓解系统的压力。说了这么多其实最核心的是: 解耦, 异步, 削峰

 

解耦

系统A有B, C, D三个系统对接, 此时D系统需要取消和A系统的对接, 同时一个新的E系统需要和A系统进行对接. 如果没有消息队列, A系统将需要修改代码将调用D系统的代码删除, 同时修改代码以调用E系统的接口。此时BCDE系统和A系统高度耦合

如果引入消息队列后

A系统只需要将关键数据发布到MQ, 之后如果D系统不需要和A系统对接, 仅仅只需要取消A系统的订阅, 新增的E系统只需要订阅A系统的消息即可, A系统自身并不需要进行修改。

消息队列的流派

重Topic

kafka, JMS(ActiveMQ)就属于这个流派, 生产者会发送key和数据到Broker, 由Broker比较key之后决定给哪个消费者. 这种模式就是我们最常用的模式, 是我们对MQ最多的印象。在这种模式下一个topic往往是一个比较大的概念, 甚至一个系统中就可能只有一个topic, topic某种意义上就是queue, 生产者发送key相当于说: hi, 把数据放到key的队列中

如上图所示, Broker定义了三个队列, key1, key2, key3, 生产者发送数据的时候会发送key1和data, Broker在推送数据的时候则推送data(也可能把key带上).

虽然架构一样但是kafka的性能要比jms的性能不知道高到多少倍, 所以基本这种类型的MQ只有kafka一种备选方案。如果你需要一条暴力的数据流(在乎性能而非灵活性)那么kafka是最好的选择

轻Topic

这种的代表是RabbitMQ(或者说是AMQP), 生产者发送key和数据, 消费者定义订阅的队列, Broker收到数据之后会通过一定的逻辑计算出key对应的队列, 然后把数据交给队列

 

这种模式下解耦了key和queue, 在这种架构中queue是非常轻量级的(在RabbitMQ)中它的上限取决于你的内存), 消费者关心的只是自己的queue; 生产者不必关心数据最终给谁只要指定key就行了, 中间的那层映射在AMQP中叫exchange(交换机)。

AMQP中有四种exchange.

Direct exchange: key就等于queue

Fanout exchange: 无视key, 给所有的queue都来一份

Topic exchange: key可以用宽字符模糊匹配queue

Headers exchange: 无视key, 通过查看消息的头部元数据来决定发给那个queue(AMQP头部元数据非常丰富而可以自定义)

这种结构的架构给通讯带来了很大的灵活性, 我们能想到的通讯方式都可以用这四种exchange表达出来。如果你需要一个企业数据总线(在乎灵活性)那么RabbitMQ绝对值得一用

无Broker的MQ

无Broker的MQ的代表是ZeroMQ, ZeroMQ被设计成了一个库而不是一个中间件, 这种实现也可以达到没有Broker的目的

可以把自己的程序想象成一个Actor, ZeroMQ就是提供邮箱功能的库; ZeroMQ可以实现同一台机器的RPC通讯也可以实现不同机器的TCP, UDP通讯.如果你需要一个强大的, 灵活, 野蛮的通讯能力, 别犹豫ZeroMQ