消息队列基础知识

消息队列

是一个存放消息的容器，需要使用消息时，直接从容器中取出消息使用即可。消费顺序先进先出。

参与消息传递的双方称为 生产者 和 消费者 ，生产者负责发送消息，消费者负责处理消息。

消息队列作用

通过异步处理提高系统性能（减少响应所需时间）

将用户的请求数据存储到消息队列之后就立即返回结果。随后，系统再对消息进行消费。

削峰/限流

将短时间高并发产生的事务消息存储在消息队列中，然后后端服务再慢慢根据自己的能力去消费这些消息，可避免后端服务崩溃。

降低系统耦合性

模块之间不存在直接调用，新增模块或者修改模块就对其他模块影响较小，系统的可扩展性更好。

使用消息队列带来的问题

系统可用性降低

系统可用性在某种程度上降低。加入 MQ 后，需要考虑消息丢失或者说 MQ 挂掉等情况。

系统复杂性提高

使用MQ ，需保证消息没有被重复消费、处理消息丢失的情况、保证消息传递的顺序性等问题。

一致性问题

消息队列可以实现异步，但如果消息的真正消费者并未正确消费消息，会导致数据不一致。

JMS和AMQP

JMS（JAVA Message Service,java 消息服务）是 Java 的消息服务，JMS 的客户端之间可以通过 JMS 服务进行异步的消息传输。JMS 定义了五种不同的消息正文格式以及调用的消息类型：

• StreamMessage：Java 原始值的数据流
• MapMessage：一套名称-值对
• TextMessage：一个字符串对象
• ObjectMessage：一个序列化的 Java 对象
• BytesMessage：一个字节的数据流

JMS两种消息模型

点到点模型（P2P模型）：一条消息只能被一个消费者使用，未被消费的消息在队列中保留直到被消费或超时。

发布/订阅模型（Sub/Pub模型）：使用主题（Topic）作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者。

AMQP，即 Advanced Message Queuing Protocol，提供统一消息服务的应用层标准 高级消息队列协议（二进制应用层协议），是应用层协议的一个开放标准，为面向消息的中间件设计，兼容 JMS。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件同产品，不同的开发语言等条件的限制。

RabbitMQ 就是基于 AMQP 协议实现的。

分布式消息队列技术选型

Kafka

Kafka 是 LinkedIn 开源的一个分布式流式处理平台，已经成为 Apache 顶级项目，早期用于处理海量日志，后面发展成了一款功能全面的高性能消息队列。

流式处理平台具有三个关键功能：

• 消息队列：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消息队列的原因。
• 容错的持久方式存储记录消息流：Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。
• 流式处理平台： 在消息发布的时候进行处理，Kafka 提供了一个完整的流式处理类库。

RocketMQ

RocketMQ 是阿里开源的一款云原生“消息、事件、流”实时数据处理平台，借鉴了 Kafka，已经成为 Apache 顶级项目.

RocketMQ 的核心特性：

• 云原生：生与云，长与云，无限弹性扩缩，K8s 友好
• 高吞吐：万亿级吞吐保证，同时满足微服务与大数据场景。
• 流处理：提供轻量、高扩展、高性能和丰富功能的流计算引擎。
• 金融级：金融级的稳定性，广泛用于交易核心链路。
• 架构极简：零外部依赖，Shared-nothing 架构。
• 生态友好：无缝对接微服务、实时计算、数据湖等周边生态

RabbitMQ

RabbitMQ 是采用 Erlang 语言实现 AMQP(Advanced Message Queuing Protocol，高级消息队列协议）的消息中间件，它最初起源于金融系统，用于在分布式系统中存储转发消息

具体特点：

• 可靠性： RabbitMQ 使用一些机制来保证消息的可靠性，如持久化、传输确认及发布确认等。
• 灵活的路由： 在消息进入队列之前，通过交换器来路由消息。对于典型的路由功能，RabbitMQ 己经提供了一些内置的交换器来实现。针对更复杂的路由功能，可以将多个交换器绑定在一起，也可以通过插件机制来实现自己的交换器。这个后面会在我们讲 RabbitMQ 核心概念的时候详细介绍到。
• 扩展性： 多个 RabbitMQ 节点可以组成一个集群，也可以根据实际业务情况动态地扩展集群中节点。
• 高可用性： 队列可以在集群中的机器上设置镜像，使得在部分节点出现问题的情况下队列仍然可用。
• 支持多种协议： RabbitMQ 除了原生支持 AMQP 协议，还支持 STOMP、MQTT 等多种消息中间件协议。
• 多语言客户端： RabbitMQ 几乎支持所有常用语言，比如 Java、Python、Ruby、PHP、C#、JavaScript 等。
• 易用的管理界面： RabbitMQ 提供了一个易用的用户界面，使得用户可以监控和管理消息、集群中的节点等。在安装 RabbitMQ 的时候会介绍到，安装好 RabbitMQ 就自带管理界面。
• 插件机制： RabbitMQ 提供了许多插件，以实现从多方面进行扩展，当然也可以编写自己的插件。感觉这个有点类似 Dubbo 的 SPI 机制

RabbitMQ 官网：RabbitMQ: One broker to queue them all | RabbitMQ 。

Pulsar

Pulsar 是下一代云原生分布式消息流平台，最初由 Yahoo 开发 ，已经成为 Apache 顶级项目。

Pulsar 集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。

Pulsar 的关键特性如下：

• 是下一代云原生分布式消息流平台。
• Pulsar 的单个实例原生支持多个集群，可跨机房在集群间无缝地完成消息复制。
• 极低的发布延迟和端到端延迟。
• 可无缝扩展到超过一百万个 topic。
• 简单的客户端 API，支持 Java、Go、Python 和 C++。
• 主题的多种订阅模式（独占、共享和故障转移）。
• 通过 Apache BookKeeper 提供的持久化消息存储机制保证消息传递 。
• 由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。
• 基于 Pulsar Functions 的 serverless connector 框架 Pulsar IO 使得数据更易移入、移出 Apache Pulsar。
• 分层式存储可在数据陈旧时，将数据从热存储卸载到冷/长期存储（如 S3、GCS）中。

Pulsar 官网：Apache Pulsar | Apache Pulsar。

如何选择

• RabbitMQ 吞吐量稍逊Kafka、RocketMQ 和 Pulsar，但它基于 Erlang 开发，并发能力很强，性能极其好，延时很低，达到微秒级。但也因为基于 Erlang 开发，国内少有公司有实力做 Erlang 源码级别的研究和定制。如果业务场景对并发量要求不是太高（十万级、百万级），首选RabbitMQ 。
• RocketMQ 和 Pulsar 支持强一致性，对消息一致性要求比较高的场景可以使用。
• RocketMQ 阿里出品，Java 系开源项目，源代码可以直接阅读，可以定制自己公司的 MQ，并且 RocketMQ 有阿里巴巴的实际业务场景的实战考验。
• Kafka 仅提供较少的核心功能，但提供超高的吞吐量，ms 级的延迟，极高的可用性以及可靠性，且分布式可任意扩展。同时 Kafka 最好是支撑较少的 topic 数量，保证其超高吞吐量。Kafka 劣势是有可能消息重复消费，对数据准确性会造成极其轻微的影响，在大数据领域中以及日志采集中，这点轻微影响可以忽略。这个特性天然适合大数据实时计算以及日志收集。如果是大数据领域的实时计算、日志采集等场景，用 Kafka 是业内标准的。