RabbitMQ详解

最新推荐文章于 2024-06-04 15:15:26 发布

SuperW.

最新推荐文章于 2024-06-04 15:15:26 发布

阅读量3.5k

点赞数 2

本文链接：https://blog.csdn.net/qq_53263107/article/details/127844208

版权

1. 常见消息中间件大 PK

说到消息中间件，估计大伙多多少少都能讲出来一些，ActiveMQ、RabbitMQ、RocketMQ、Kafka 等等各种以及 JMS、AMQP 等各种协议，然而这些消息中间件各自都有什么特点，我们在开发中又该选择哪种呢？

1.1 AMQP 简介

Message Queue 的需求由来已久，80 年代最早在金融交易中，高盛等公司采用 Teknekron 公司的产品，当时的 Message Queue 软件叫做：the information bus（TIB）。 TIB 被电信和通讯公司采用，路透社收购了 Teknekron 公司。之后，IBM 开发了 MQSeries，微软开发了 Microsoft Message Queue（MSMQ）。这些商业 MQ 供应商的问题是厂商锁定，价格高昂。2001 年，Java Message Service 试图解决锁定和交互性的问题，但对应用来说反而更加麻烦了。
于是 2004 年，摩根大通和 iMatrix 开始着手 Advanced Message Queuing Protocol （AMQP）开放标准的开发。2006 年，AMQP 规范发布。2007 年，Rabbit 技术公司基于 AMQP 标准开发的 RabbitMQ 1.0 发布。
目前 RabbitMQ 的最新版本为 3.5.7，基于 AMQP 0-9-1。
在 AMQP 协议中，消息收发涉及到如下一些概念：

Broker: 接收和分发消息的应用，我们日常所用的 RabbitMQ 就是一个 Message Broker。
Virtual host: 出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ 提供的服务时，可以划分出多个 vhost，每个用户在自己的 vhost 中创建 exchange／queue 等。
Connection: publisher／consumer 和 broker 之间的 TCP 连接，断开连接的操作只会在 client 端进行，Broker 不会断开连接，除非出现网络故障或 broker 服务出现问题。
Channel: 如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection 的开销将是巨大的，效率也较低。Channel 是在 Connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个 Thread 创建单独的 Channel 进行通讯，AMQP method 包含了 Channel id 帮助客户端和 Message Broker 识别 Channel，所以 Channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP Connection 的开销，关于 Channel，参考RabbitMQ 管理页面该如何使用
Exchange: Message 到达 Broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到 queue 中去。常用的类型有：direct (点对点), topic(发布订阅) 以及 fanout (广播)。
Queue: 消息最终被送到这里等待 Consumer 取走，一个 Message 可以被同时拷贝到多个 queue 中。
Binding: Exchange 和 Queue 之间的虚拟连接，binding 中可以包含 routing key，Binding 信息被保存到 Exchange 中的查询表中，作为 Message 的分发依据。

1.1.1 AMQP 实现

来看看实现了 AMQP 协议的一些具体的消息中间件产品都有哪些。

Apache Qpid
Apache ActiveMQ
RabbitMQ

可能有小伙伴奇怪咋还有 ActiveMQ？其实 ActiveMQ 不仅支持 JMS，也支持 AMQP
另外还有大家熟知的阿里出品的 RocketMQ，这个是自定义了一套协议，社区也提供了 JMS，但是不太成熟

1.2. 重要产品

1.2.1 ActiveMQ

ActiveMQ 是 Apache 下的一个子项目，使用完全支持 JMS1.1 和 J2EE1.4 规范的 JMS Provider 实现，少量代码就可以高效地实现高级应用场景，并且支持可插拔的传输协议，如：in-VM, TCP, SSL, NIO, UDP, multicast, JGroups and JXTA transports。
ActiveMQ 支持常用的多种语言客户端如 C++、Java、.Net,、Python、 Php、 Ruby 等。
现在的 ActiveMQ 分为两个版本：

ActiveMQ Classic
ActiveMQ Artemis

这里的 ActiveMQ Classic 就是原来的 ActiveMQ，而 ActiveMQ Artemis 是在 RedHat 捐赠的 HornetQ 服务器代码的基础上开发的，两者代码完全不同，后者支持 JMS2.0，使用基于 Netty 的异步 IO，大大提升了性能，更为神奇的是，后者不仅支持 JMS 协议，还支持 AMQP 协议、STOMP 以及 MQTT，可以说后者的玩法相当丰富。
因此大家在使用时，建议直接选择 ActiveMQ Artemis。

1.2.2 RabbitMQ

RabbitMQ 算是 AMQP 体系下最为重要的产品了，它基于 Erlang 语言开发实现，估计很多人被 RabbitMQ 的安装折磨过，建议安装 RabbitMQ 直接用 Docker，省心省力（公号后台回复 docker 有教程）。
RabbitMQ 支持 AMQP、XMPP、SMTP、STOMP 等多种协议，功能强大，适用于企业级开发。
来看一张 RabbitMQ 的结构图：
在这里插入图片描述

1.2.3 RocketMQ

RocketMQ 是阿里开源的一款分布式消息中间件，原名 Metaq，从 3.0 版本开始改名为 RocketMQ，是阿里参照 Kafka 设计思想使用 Java 语言实现的一套 MQ。RocketMQ 将阿里内部多款 MQ 产品（Notify、Metaq）进行整合，只维护核心功能，去除了所有其他运行时依赖，保证核心功能最简化，在此基础上配合阿里上述其他开源产品实现不同场景下 MQ 的架构，目前主要用于订单交易系统。
RocketMQ 具有以下特点：

保证严格的消息顺序。
提供针对消息的过滤功能。
提供丰富的消息拉取模式。
高效的订阅者水平扩展能力。
实时的消息订阅机制。
亿级消息堆积能力

对于 Java 工程师而言，这也是一种经常会用到的 MQ。

1.2.4 Kafka

Kafka 是 Apache 下的一个开源流处理平台，由 Scala 和 Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作（网页浏览，搜索和其他用户的行动）流数据。Kafka 的目的是通过 Hadoop 的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka 具有以下特性：

快速持久化：通过磁盘顺序读写与零拷贝机制，可以在O(1)的系统开销下进行消息持久化。
高吞吐：在一台普通的服务器上既可以达到 10W/s 的吞吐速率。
高堆积：支持 topic 下消费者较长时间离线，消息堆积量大。
完全的分布式系统：Broker、Producer、Consumer 都原生自动支持分布式，通过 Zookeeper 可以自动实现更加复杂的负载均衡。
支持 Hadoop 数据并行加载。

大数据开发中大家可能会经常接触 Kafka，Java 开发中也会接触，但是相对来说可能接触的少一些。

1.2.5 ZeroMQ

ZeroMQ 号称最快的消息队列系统，它专门为高吞吐量/低延迟的场景开发，在金融界的应用中经常使用，偏重于实时数据通信场景。ZeroMQ 不是单独的服务，而是一个嵌入式库，它封装了网络通信、消息队列、线程调度等功能，向上层提供简洁的 API，应用程序通过加载库文件，调用 API 函数来实现高性能网络通信。
ZeroMQ 的特性：

无锁的队列模型：对于跨线程间的交互（用户端和 session）之间的数据交换通道 pipe，采用无锁的队列算法 CAS，在 pipe 的两端注册有异步事件，在读或者写消息到 pipe 时，会自动触发读写事件。
批量处理的算法：对于批量的消息，进行了适应性的优化，可以批量的接收和发送消息。
多核下的线程绑定，无须 CPU 切换：区别于传统的多线程并发模式，信号量或者临界区，ZeroMQ 充分利用多核的优势，每个核绑定运行一个工作者线程，避免多线程之间的 CPU 切换开销。

1.2.6 其他

另外还有如 Redis 也能做消息队列， Redis可以做普通消息队列和延迟消息队列，这里也就不啰嗦了。

1.3. 比较

最后，我们再来通过一张图来比较下各个消息中间件。
在这里插入图片描述

2. RabbitMQ 管理页面

RabbitMQ 的 web 管理页面相信很多小伙伴都用过

2.1 概览

首先，这个 Web 管理页面大概就像下图这样：在这里插入图片描述
首先一共有六个选项卡：

Overview：这里可以概览 RabbitMQ 的整体情况，如果是集群，也可以查看集群中各个节点的情况。包括 RabbitMQ 的端口映射信息等，都可以在这个选项卡中查看。
Connections：这个选项卡中是连接上 RabbitMQ 的生产者和消费者的情况。
Channels：这里展示的是“通道”信息，关于“通道”和“连接”的关系，在后文再和大家详细介绍。
Exchange：这里展示所有的交换机信息。
Queue：这里展示所有的队列信息。
Admin：这里展示所有的用户信息。

右上角是页面刷新的时间，默认是 5 秒刷新一次，展示的是所有的 Virtual host。
这是整个管理页面的一个大致情况，接下来我们来逐个介绍。

2.2 Overview

Overview 中分了如下一些功能模块：

在这里插入图片描述
分别是：

Totals：

Totals 里面有准备消费的消息数、待确认的消息数、消息总数以及消息的各种处理速率（发送速率、确认速率、写入硬盘速率等等）。

在这里插入图片描述

Nodes：
Nodes 其实就是支撑 RabbitMQ 运行的一些机器，相当于集群的节点。在这里插入图片描述

点击每个节点，可以查看节点的详细信息。

Churn statistics：
这个不好翻译，里边展示的是 Connection、Channel 以及 Queue 的创建/关闭速率。
在这里插入图片描述

Ports and contexts：
在这里插入图片描述
这个里边展示了端口的映射信息以及 Web 的上下文信息。

5672 是 RabbitMQ 通信端口。
15672 是 Web 管理页面端口。
25672 是集群通信端口。

Export definitions && Import definitions：
最后面这两个可以导入导出当前实例的一些配置信息：
在这里插入图片描述

2.3 Connections

这里主要展示的是当前连接上 RabbitMQ 的信息，无论是消息生产者还是消息消费者，只要连接上来了这里都会显示出来。在这里插入图片描述
注意协议中的 AMQP 0-9-1 指的是 AMQP 协议的版本号。
其他属性含义如下：

User name：当前连接使用的用户名。
State：当前连接的状态，running 表示运行中；idle 表示空闲。
SSL/TLS：表示是否使用 ssl 进行连接。
Channels：当前连接创建的通道总数。
From client：每秒发出的数据包。
To client：每秒收到的数据包。

点击连接名称可以查看每一个连接的详情。
在详情中可以查看每一个连接的通道数以及其他详细信息，也可以强制关闭一个连接。

2.4 Channels

这个地方展示的是通道的信息：在这里插入图片描述
那么什么是通道呢？
一个连接（IP）可以有多个通道，如上图，一共是两个连接，但是一共有 12 个通道。
一个连接可以有多个通道，这个多个通道通过多线程实现，一般情况下，我们在通道中创建队列、交换机等。
生产者的通道一般会立马关闭；消费者是一直监听的，通道几乎是会一直存在。
上面各项参数含义分别如下：

Channel：通道名称。
User name：该通道登录使用的用户名。
Model：通道确认模式，C 表示 confirm；T 表示事务。
State：通道当前的状态，running 表示运行中；idle 表示空闲。
Unconfirmed：待确认的消息总数。
Prefetch：Prefetch 表示每个消费者最大的能承受的未确认消息数目，简单来说就是用来指定一个消费者一次可以从 RabbitMQ 中获取多少条消息并缓存在消费者中，一旦消费者的缓冲区满了，RabbitMQ 将会停止投递新的消息到该消费者中直到它发出有消息被 ack 了。总的来说，消费者负责不断处理消息，不断 ack，然后只要 unAcked 数少于 prefetch * consumer 数目，RabbitMQ 就不断将消息投递过去。
Unacker：待 ack 的消息总数。
publish：消息生产者发送消息的速率。
confirm：消息生产者确认消息的速率。
unroutable (drop)：表示未被接收，且已经删除了的消息。
deliver/get：消息消费者获取消息的速率。
ack：消息消费者 ack 消息的速率。

2.5 Exchange

这个地方展示交换机信息：
在这里插入图片描述

这里会展示交换机的各种信息。
Type 表示交换机的类型。
Features 有两个取值 D 和 I。
D 表示交换机持久化，将交换机的属性在服务器内部保存，当 MQ 的服务器发生意外或关闭之后，重启 RabbitMQ 时不需要重新手动或执行代码去建立交换机，交换机会自动建立，相当于一直存在。
I 表示这个交换机不可以被消息生产者用来推送消息，仅用来进行交换机和交换机之间的绑定。
Message rate in 表示消息进入的速率。
Message rate out 表示消息出去的速率。
点击下方的 Add a new exchange 可以创建一个新的交换机。

2.6 Queue

这个选项卡就是用来展示消息队列的：在这里插入图片描述

各项含义如下：

Name：表示消息队列名称。
Type：表示消息队列的类型，除了上图的 classic，另外还有一种消息类型是 Quorum。两个区别如下图：
Features：表示消息队列的特性，D 表示消息队列持久化。
State：表示当前队列的状态，running 表示运行中；idle 表示空闲。
Ready：表示待消费的消息总数。
Unacked：表示待应答的消息总数。
Total：表示消息总数 Ready+Unacked。
incoming：表示消息进入的速率。
deliver/get：表示获取消息的速率。
ack：表示消息应答的速率。

点击下方的 Add a new queue 可以添加一个新的消息队列。
点击每一个消息队列的名称，可以进入到消息队列中。进入到消息队列后，可以完成对消息队列的进一步操作，例如：

将消息队列和某一个交换机进行绑定。
发送消息。
获取一条消息。
移动一条消息（需要插件的支持）。
删除消息队列。
清空消息队列中的消息。
…

如下图：
在这里插入图片描述

2.7 Admin

这里是做一些用户管理操作，如下图：
在这里插入图片描述

各项属性含义如下：

Name：表示用户名称。
Tags：表示角色标签，只能选取一个。
Can access virtual hosts：表示允许进入的虚拟主机。
Has password：表示这个用户是否设置了密码。

常见的两个操作时管理用户和虚拟主机。
点击下方的 Add a user 可以添加一个新的用户，添加用户的时候需要给用户设置 Tags，其实就是用户角色，如下：

none：
不能访问 management plugin
management：
用户可以通过 AMQP 做的任何事
列出自己可以通过 AMQP 登入的 virtual hosts
查看自己的 virtual hosts 中的 queues, exchanges 和 bindings
查看和关闭自己的 channels 和 connections
查看有关自己的 virtual hosts 的“全局”的统计信息，包含其他用户在这些 virtual hosts 中的活动
policymaker：
management 可以做的任何事
查看、创建和删除自己的 virtual hosts 所属的 policies 和 parameters
monitoring：
management 可以做的任何事
列出所有 virtual hosts，包括他们不能登录的 virtual hosts
查看其他用户的 connections 和 channels
查看节点级别的数据如 clustering 和 memory 使用情况
查看真正的关于所有 virtual hosts 的全局的统计信息
administrator：
policymaker 和 monitoring 可以做的任何事
创建和删除 virtual hosts
查看、创建和删除 users
查看创建和删除 permissions
关闭其他用户的 connections
impersonator(模拟者)
模拟者，无法登录管理控制台。

另外，这里也可以进行虚拟主机 virtual host 的操作，后面小节会和大家介绍虚拟主机。

3. RabbitMQ 七种消息收发方式

本小节来和小伙伴们分享一下 RabbitMQ 的七种消息传递形式。一起来看看。
大部分情况下，我们可能都是在 Spring Boot 或者 Spring Cloud 环境下使用 RabbitMQ，因此本文我也主要从这两个方面来和大家分享 RabbitMQ 的用法。

3.1 RabbitMQ 架构简介

在这里插入图片描述
这张图中涉及到如下一些概念：

生产者（Publisher）：发布消息到 RabbitMQ 中的交换机（Exchange）上。
交换机（Exchange）：和生产者建立连接并接收生产者的消息。
消费者（Consumer）：监听 RabbitMQ 中的 Queue 中的消息。
队列（Queue）：Exchange 将消息分发到指定的 Queue，Queue 和消费者进行交互。
路由（Routes）：交换机转发消息到队列的规则。

3.2 准备工作

大家知道，RabbitMQ 是 AMQP 阵营里的产品，Spring Boot 为 AMQP 提供了自动化配置依赖 spring-boot-starter-amqp，因此首先创建 Spring Boot 项目并添加该依赖，如下：
在这里插入图片描述
项目创建成功后，在 application.properties 中配置 RabbitMQ 的基本连接信息，如下：

spring.rabbitmq.host=localhost
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
spring.rabbitmq.port=5672

接下来进行 RabbitMQ 配置，在 RabbitMQ 中，所有的消息生产者提交的消息都会交由 Exchange 进行再分配，Exchange 会根据不同的策略将消息分发到不同的 Queue 中。
RabbitMQ 官网介绍了如下几种消息分发的形式：
在这里插入图片描述

这里我主要和大家介绍前六种消息收发方式。

3.3 消息收发

3.3.1 Hello World

咦？这个咋没有交换机？这个其实是默认的交换机，我们需要提供一个生产者一个队列以及一个消费者。消息传播图如下：
在这里插入图片描述
来看看代码实现：
先来看看队列的定义：

@Configuration
public class HelloWorldConfig {
   

    public static final String HELLO_WORLD_QUEUE_NAME = "hello_world_queue";

    @Bean
    Queue queue1() {
   
        return new Queue(HELLO_WORLD_QUEUE_NAME);
    }
}

再来看看消息消费者的定义：

@Component
public class HelloWorldConsumer {
   
    @RabbitListener(queues = HelloWorldConfig.HELLO_WORLD_QUEUE_NAME)
    public void receive(String msg) {
   
        System.out.println("msg = " + msg);
    }
}

消息发送：

@SpringBootTest
class RabbitmqdemoApplicationTests {
   

    @Autowired
    RabbitTemplate rabbitTemplate;


    @Test
    void contextLoads() {
   
        rabbitTemplate.convertAndSend(HelloWorldConfig.HELLO_WORLD_QUEUE_NAME, "hello");
    }

}

这个时候使用的其实是默认的直连交换机（DirectExchange），DirectExchange 的路由策略是将消息队列绑定到一个 DirectExchange 上，当一条消息到达 DirectExchange 时会被转发到与该条消息 routing key 相同的 Queue 上，例如消息队列名为 “hello-queue”，则 routingkey 为 “hello-queue” 的消息会被该消息队列接收。

3.3.2 Work queues

这种情况是这样的：
一个生产者，一个默认的交换机（DirectExchange），一个队列，两个消费者，如下图：
在这里插入图片描述

一个队列对应了多个消费者，默认情况下，由队列对消息进行平均分配，消息会被分到不同的消费者手中。消费者可以配置各自的并发能力，进而提高消息的消费能力，也可以配置手动 ack，来决定是否要消费某一条消息。
先来看并发能力的配置，如下：

@Component
public class HelloWorldConsumer {
   
    @RabbitListener(queues = HelloWorldConfig.HELLO_WORLD_QUEUE_NAME)
    public void receive(String

最低0.47元/天解锁文章

SuperW.

关注

2
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
RabbitMQ详解

说到消息中间件，估计大伙多多少少都能讲出来一些，ActiveMQ、RabbitMQ、RocketMQ、Kafka 等等各种以及 JMS、AMQP 等各种协议，然而这些消息中间件各自都有什么特点，我们在开发中又该选择哪种呢？
复制链接

扫一扫