Web开发来一发（八）消息中间件MQ

蚂蚁金服典型一致性MQ实现：https://yq.aliyun.com/articles/596022

一、MQ介绍

1、MQ简介

消息队列MQ是支持在分布式系统中发送和接受消息的硬件或软件基础设施，是异步RPC的主要手段之一。

运用MQ可以实现异步、系统解耦，以此提高系统响应速度。

2、MQ的核心概念

MQ的核心概念包括Broker、Producer、Consumer、Topic、Message、Queue等。

• Broker：消息服务器，作为server提供消息核心服务。
• Producer：消息生产者，业务的发起方，负责生产消息传输给broker。
• Consumer：消息消费者，业务的处理方，负责从broker获取消息并进行业务逻辑处理。
• Topic：主题，发布/订阅模式下，生产者向topic发送消息，由MQ服务器分发到不同的订阅者，实现消息的广播。
• Queue：队列，点对点模式下，特定生产者向特定queue发送消息，消费者订阅特定的queue完成指定消息的接收
• Message：消息体，根据不同通信协议定义的固定格式进行编码的数据包，来封装业务数据，实现消息的传输。

3、MQ的模式

MQ主要有两种模式：点对点模式和发布/订阅模式。

点对点模式下，消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。 消息被消费以后，queue中不再存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

发布/订阅模式，使用topic作为通信载体，消息生产者将消息发布到topic中，同时有多个消息消费者消费该消息。和点对点方式不同的是，发布到topic的消息会被所有订阅者消费。

二、MQ的几个核心问题

1、如何保证消息不被重复消费？

消息体内带可区分的唯一id，消费者做消费记录，消费时根据这个id确认是否是重复消息。

2、如何保证消息的可靠传输？

• Producer通过Broker发回的反馈确认已发送消息。

• Broker通过消息持久化确认队列不会丢消息。

• Consumer通过主动commit确认接收和处理过消息。

3、如何保证消息的顺序性？

参考：https://segmentfault.com/a/1190000014512075?utm_source=tag-newest

常用MQ的方案：

ActiveMQ有两个方案，一个方案是独占消息，独占消息就是在有多个消费者同时消费一个queue时，可以保证只有一个消费者可以消费消息，这个方案效率较低。另一个方案是在消息中添加GroupId，每个消费者只能消费特定的GroupId，这样既可以使消费可以并行消费，又解决负载均衡的问题。

RocketMQ的方案中，一个topic有多个queue，消息会存储在多个queue中，而一个queue只会被一个consumer消费。需要被顺序消费的消息，都发往同一个队列下，而这些消息只会被一个消费者消费。严格来说，RocketMQ类似ActiveMQ的第一个方案，效率并不高。

4、如何保证高可用？

核心思路就是集群备份。

RocketMQ集群有单master模式、多master 模式、多master多slave异步复制模式、多 master多slave同步双写模式等。RocketMQ有个NameServer，Producer 与 NameServer集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 获取 Topic 路由信息，并向提供 Topic 服务的 Broker Master 建立长连接，且定时向 Broker 发送心跳。 Consumer 同时和提供 Topic 服务的Broker Master 和Broker Slave建立长连接，既可以从 Broker Master 订阅消息，也可以从 Broker Slave 订阅消息。

RabbitMQ除了基本队列以外，还有个miror队列，当基本队列异常时，miror队列工作。

Kafka的Broker支持主备模式。

三、常见MQ简介

Kafka是LinkedIn开源的分布式发布-订阅消息系统，追求高吞吐量，常用于日志收集和传输，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。 

ActiveMQ 是Apache出品，是JMS规范的一个具体实现，JMS即Java消息服务（Java Message Service的简称），是Java EE 的标准/规范之一。

RabbitMQ是基于AMQP协议来实现的，AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议应用在对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。 

RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。

 

参考资料：

https://blog.csdn.net/leexide/article/details/80035462?utm_source=copy