RabbitMQ从原理到实战—基于Golang【万字详解】

---

前言

最近秋招开始找工作，顺便回顾消息队列并且总结。

一、MQ是什么？

消息队列（Message Queue）是一种在应用程序之间传递消息的通信模式。它通过在发送者和接收者之间建立一个消息队列来实现异步通信和解耦。

在消息队列模式中，发送者（Producer）将消息发送到一个中间件（Message Broker）中的消息队列，而接收者（Consumer）则从该队列中接收和处理消息。这种方式使得发送者和接收者可以独立地进行处理，而无需直接交互，从而实现解耦。发送者和接收者只需要知道如何与消息队列进行通信，而不需要知道彼此的存在。

优势

1. 异步通信：发送者将消息放入队列后即可继续进行其他操作，无需等待接收者的响应。接收者可以在合适的时候从队列中获取消息进行处理，实现了异步通信模式。

2. 解耦：发送者和接收者之间通过消息队列进行通信，彼此之间不直接耦合。发送者只需将消息发送到队列中，而不需要知道消息是如何被处理的。接收者只需从队列中获取消息进行处理，而不需要知道消息的来源。

3. 可靠性传输：消息队列通常提供持久化机制，确保消息在发送和接收过程中不会丢失。即使接收者暂时不可用，消息也会在队列中等待，直到接收者准备好接收为止。

4. 扩展性：消息队列可以支持多个发送者和接收者，实现系统的扩展性和高并发处理能力。

5. 缓冲和削峰填谷：通过将消息缓存到队列中，可以平衡发送者和接收者之间的处理速度差异，从而避免系统过载。

消息队列在分布式系统、微服务架构、异步任务处理、事件驱动架构等场景中被广泛应用。一些常见的消息队列系统包括RabbitMQ、Apache Kafka、ActiveMQ、Amazon SQS等。它们提供了丰富的功能和配置选项，可以根据应用需求选择合适的消息队列实现。

劣势

系统可用性降低
系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？
系统复杂度提高
MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
一致性问题
A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息数据，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

二、MQ的用途

四个用途
应用解耦：提高系统容错性和可维护性
异步提速：提升用户体验和系统吞吐量
削峰填谷：提高系统稳定性
消息分发：提高系统灵活性

1、应用解耦

应用解耦是指通过使用消息队列等中间件来降低应用程序之间的直接依赖性，从而实现独立开发、部署和升级的能力。通过解耦，每个应用程序可以通过消息队列发送和接收消息，而不需要了解其他应用程序的具体实现细节。通过应用解耦，可以实现系统的松耦合架构，提高系统的可维护性、扩展性和容错性。
没有使用MQ：

• 系统的耦合性越高，容错性就越低，可维护性就越低。
• 使用 MQ 使得应用间解耦，提升容错性和可维护性。

2、异步加速

异步提速是指通过将耗时的操作转化为异步执行，从而提高系统的响应速度和吞吐量。通过异步处理，应用程序可以在等待某个操作完成的同时继续执行其他任务，而不需要阻塞等待结果返回。
例如，当一个应用程序需要进行网络请求并等待响应时，如果采用同步方式，应用程序会被阻塞，直到响应返回才能继续执行其他任务。而通过异步方式，应用程序可以继续执行其他任务，不需要等待网络请求的结果返回。这样可以提高系统的响应速度，使用户获得更好的体验。
没有使用MQ：

一个下单操作耗时：20 + 300 + 300 + 300 = 920ms
用户点击完下单按钮后，需要等待920ms才能得到下单响应，太慢！
使用MQ：

用户点击完下单按钮后，只需等待25ms就能得到下单响应 (20 + 5 = 25ms)。
提升用户体验和系统吞吐量（单位时间内处理请求的数目）。不需要的等待完成

3、削峰填谷

削峰填谷是一种通过平衡系统负载，减轻峰值压力和填充低谷时的资源利用率的技术。它的目标是在系统负载波动较大的情况下，合理利用资源，确保系统的稳定性和高效性。
没有使用MQ：

使用MQ：

使用了 MQ 之后，限制消费消息的速度为1000，这样一来，高峰期产生的数据势必会被积压在 MQ中，高峰就被“削”掉了，但是因为消息积压，在高峰期过后的一段时间内，消费消息的速度还是会维持在1000，直到消费完积压的消息，这就叫做填谷。简单来说就是慢慢分发
使用MQ后，可以提高系统稳定性。

4、消息分发

消息分发是一种将消息从发送者传递到接收者的机制，它在异步系统和事件驱动架构中起着重要的作用。消息分发可以实现解耦和灵活性，允许不同组件或模块之间通过消息进行通信，从而实现系统的松耦合和可扩展性。
下面是消息分发的一些关键概念和示例：

发布者（Publisher）：发布者是消息分发系统中的发送者，它负责生成并发布消息。发布者将消息发送到消息分发系统，而不需要知道消息的具体接收者。

订阅者（Subscriber）：订阅者是消息分发系统中的接收者，它通过订阅特定的消息或消息类型来表明自己对消息的兴趣。当有匹配的消息到达时，消息分发系统会将消息传递给订阅者。

主题（Topic）：主题是消息分发系统中用于分类和组织消息的标识符或名称。发布者可以将消息发布到特定的主题，而订阅者可以选择订阅感兴趣的主题。通过主题，可以实现消息的细粒度过滤和选择性订阅。

三、RabbitMQ是什么

RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求可能比较低了。

1、AMQP 协议

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。2006年，AMQP规范发布。类比HTTP。
AMQP三层协议：
Module Layer：协议最高层，主要定义了一些客户端调用的命令，客户端可以用这些命令实现自己的业务逻辑。
Session Layer：中间层，主要负责客户端命会发送给服务器，再将服务端应答返回客户端，提供可靠性同步机制和错误处理。
TransportLayer：最底层，主要传输二进制数据流，提供帧的处理、信道服用、错误检测和数据表示等。

AMQP组件：
交换器(Exchange)：消息代理服务器中用于把消息路由到队列的组件。
队列（queue）：用来存储消息的数据结构，位于硬盘或内存中。
绑定（Binding）：一套规则，告知交换器消息应该将消息投递给哪个队列。

2、RabbitMQ 包含的要素

生产者：消息队列创建者，发送消息到MQ
消费者：连接到RabbitMQ，订阅到队列上，消费消息，持续订阅和单条订阅
消息：包含有效载荷和标签，有效载荷指要传输的数据，标签描述了有效载荷，并且RabbitMQ用它来决定谁获得消息，消费者只能拿到有效载荷，并不知道生产者是谁

3、RabbitMQ 基础架构

Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker
Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost创建 exchange／queue 等
Connection：publisher／consumer 和 broker 之间的 TCP 连接
Channel：Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销。是生产者、消费者与RabbitMQ通信的渠道，生产者publish或是消费者subscribe 一个队列都是通过信道来通信的。
信道是建立在TCP连接上的虚拟连接，就是说RabbitMQ在一条TCP上建立成百上千个信道来达到多个线程处理，这个TCP被多个线程共享，每个线程对应一个信道，信道在RabbitMQ都有一个唯一的ID，保证了信道私有性，对应上唯一的线程使用。
Exchange交换机：message 到达 broker 的第一站**，根据分发规则，匹配查询表中的 routing key，分发消息到queue中去。生产者将消息发送到交换器，有交换器将消息路由到一个或者多个队中。当路由不到时，或返回给生产者或直接丟弃。
Queue：消息最终被送到这里等待 consumer 取走
Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding信息被保存到 exchange 中的查询表中，用于 message 的分发依据

四、实战

RabbitMQ 提供了 6 种工作模式：简单模式、work queues、Publish/Subscribe 发布与订阅模式、Routing 路由模式、Topics 主题模式、RPC 远程调用模式（远程调用，不太算 MQ；暂不作介绍）。

1、Simple模式(即最简单的收发模式)

消息的消费者监听消息队列，如果队列中有消息，就消费掉，消息被拿走后，自动从队列中删除(隐患消息可能没有被消费者正确处理，已经从队列中消失了，造成消息的丢失，这里可以设置成手动的ack，但如果设置成手动ack，处理完后要及时发送ack消息给队列，否则会造成内存溢出)。
消费者：

package main

import (
	"log"

	"github.com/streadway/amqp"
)

func main() {
   
	// 连接到RabbitMQ服务器
	conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
	if err != nil {
   
		log.Fatalf("无法连接到RabbitMQ服务器：%s", err)
	}
	defer conn.Close()

	// 创建一个通道
	ch, err := conn.Channel()
	if err != nil {
   
		log.Fatalf("无法创建通道：%s", err)
	}
	defer ch.Close()

	// 声明一个队列
	queue, err := ch.QueueDeclare(
		"hello", // 队列名
		false,   // 持久性
		false,   // 自动删除
		false,   // 独占
		false,   // 等待服务器确认
		nil,     // 参数
	)
	if err != nil {
   
		log.Fatalf("无法声明队列：%s", err)
	}

	// 消费消息
	msgs, err := ch.Consume(
		queue.Name, // 队列名
		"",         // 消费者标签
		true,       // 自动确认
		false,      // 独占
		false,      // 不等待服务器确认
		false,      // 参数
	)
	if err != nil {
   
		log.Fatalf("无法注册消费者：%s", err)
	}

	// 处理接收到的消息
	for msg := range msgs {
   
		log.Printf("接收到消息：%s", msg.Body)
	}
}

上述代码首先建立了与RabbitMQ服务器的连接，然后创建了一个通道和一个名为"heo"的队列。接下来，通过ch.Consume函数注册一个消费者，用于从队列中接收消息。在fo循环中，我们处理接收到的消息，这里只是简单地打印出来。
生产者：

package main

import (
	"log"

	"github.com/streadway/amqp"
)

func main() {
   
	// 连接到RabbitMQ服务器
	conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
	if err != nil {
   
		log.Fatalf("无法连接到RabbitMQ服务器：%s", err)
	}
	defer conn.Close()

	// 创建一个通道
	ch, err := conn.Channel()
	if err != nil {
   
		log.Fatalf("无法创建通道：%s", err)
	}
	defer ch.Close()

	// 声明一个队列
	queue, err := ch.QueueDeclare(
		"hello", // 队列名
		false,   // 持久性
		false,   // 自动删除
		false,   // 独占
		false,