RabbitMQ 从0到1

已于 2022-07-25 18:12:33 修改
阅读量372 收藏
点赞数
文章标签： 微服务 java-rabbitmq rabbitmq
于 2022-07-14 08:22:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CodeWYX/article/details/125776450
版权

RabbitMQ 从0到1

RabbitMQ消息中间件

01.同步通讯与异步通讯

在学习MQ之前需要了解一下同步通讯与异步通讯，在微服务之间通讯方式有两种一种是同步通讯另一种是异步通讯。

同步通讯：就像打电话，需要实时响应。

异步通讯：就像发邮件，不需要马上回复。

img

两种方式各有优劣，打电话可以立即得到响应，但是却不能跟多个人同时通话。发送邮件可以同时与多个人收发邮件，但是往往响应会有延迟。

之前学习的 Feign 调用就属于同步方式，虽然调用可以实时得到结果，但存在下面的问题：

img

同步调用的优点：

  • 时效性较强，可以立即得到结果

同步调用的缺点：

  • 耦合度高
  • 性能和吞吐能力下降
  • 有额外的资源消耗
  • 有级联失败问题

异步调用则可以避免上述问题，以购买商品为例，用户支付后需要调用订单服务完成订单状态修改，调用物流服务，从仓库分配响应的库存并准备发货。在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布一个支付成功的事件（event），事件中带上订单id。订单服务和物流服务是事件订阅者（Consumer），订阅支付成功的事件，监听到事件后完成自己业务即可。

为了解除事件发布者与订阅者之间的耦合，两者并不是直接通信，而是有一个中间人（Broker）。发布者发布事件到Broker，不关心谁来订阅事件。订阅者从Broker订阅事件，不关心谁发来的消息。

img

Broker 是一个像数据总线一样的东西，所有的服务要接收数据和发送数据都发到这个总线上，这个总线就像协议一样，让服务间的通讯变得标准和可控。

img

异步调用好处：

  • 吞吐量提升：无需等待订阅者处理完成，响应更快速
  • 故障隔离：服务没有直接调用，不存在级联失败问题
  • 调用间没有阻塞，不会造成无效的资源占用
  • 耦合度极低，每个服务都可以灵活插拔，可替换
  • 流量削峰：不管发布事件的流量波动多大，都由 Broker 接收，订阅者可以按照自己的速度去处理事件

异步调用缺点：

  • 架构复杂了，业务没有明显的流程线，不好管理
  • 需要依赖于 Broker 的可靠、安全、性能

02.认识MQ

MQ，中文是消息队列（MessageQueue），字面来看就是存放消息的队列，也就是事件驱动架构中的 Broker

比较常见的 MQ 实现：

  • ActiveMQ
  • RabbitMQ
  • RocketMQ
  • Kafka

几种常见MQ的对比：

RabbitMQActiveMQRocketMQkafka
公司/社区RabbitApache阿里Apache
开发语言ErlangJavaJavaScala&Java
协议支持AMQP、XMPP、SMTP、STOMPOpenWire、STOMP、REST、XMPP、AMQP自定义协议自定义协议
可用性高一般高高
单机吞吐量一般差高非常高
消息延迟微秒级毫秒级毫秒级毫秒以内
消息可靠性高一般高一般

03.使用RabbitMq

01.安装RabbitMq

这里使用docker来进行安装

docker-rabbitmq官方网站https://hub.docker.com/_/rabbitmq

下载镜像

sudo docker pull rabbitmq:3.10.6-management #下载镜像命令

启动容器命令解释

#安装启动RabbitMq命令
#docker run命令
sudo docker run \
#容器名称
--name rabbit \
#服务名称(做集群用的)
--hostname rabbit \
#访问控制台用户名
-e RABBITMQ_DEFAULT_USER=test \
#访问控制台密码
-e RABBITMQ_DEFAULT_PASS=123456 \
#访问控制台端口号
-p 15672:15672 \
#通讯端口号
-p 5672:5672 \
#后台启动，指定镜像和版本
-d rabbitmq:3.10.6-management

完整命令

sudo docker run --name rabbit --hostname rabbit01 -e RABBITMQ_DEFAULT_USER=test  -e RABBITMQ_DEFAULT_PASS=123456 -p 15672:15672 -p 5672:5672 -d rabbitmq:3.10.6-management
02.使用教程

安装启动完成后查看一下是否启动成功

sudo docker ps

启动成功后访问 IP:15672 进行登录

  • Overview : 总预览界面 查看rabbit节点状态(集群)
  • Connections : 连接 客户端和mq之间会产生连接
  • Channels : 通道 建立连接后需要创建通道然后生产者和消费者才可以进行接收或发送消息
  • Exchanges ：交换机
  • Queues : 队列
  • Admin : 管理 除了可以管理用户以外还可以管理虚拟主机

RabbitMQ 中的一些角色

  • publisher：生产者
  • consumer：消费者
  • exchange：交换机，负责消息路由
  • queue：队列，存储消息
  • virtualHost：虚拟主机，隔离不同租户的 exchange、queue、消息的隔离

MQ 的基本结构

img

04.RabbitMq入门

案例代码

发送端
https://github.com/codeXYW/Microservices/blob/main/mq/publisher/src/main/java/top/co4/publisher/service/BaseControllerService.java
消费端
https://github.com/codeXYW/Microservices/blob/main/mq/consumer/src/main/java/top/co4/consumer/service/BaseControllerService.java

RabbitMQ 官方提供了 5 个不同的 Demo 示例，对应了不同的消息模型。

网站: https://www.rabbitmq.com/getstarted.html

img

01.基本消息队列

三个角色：

  • publisher：消息发布者，将消息发送到队列queue
  • queue：消息队列，负责接受并缓存消息
  • consumer：订阅队列，处理队列中的消息

img

02.工作消息队列

三个角色(有多个订阅队列)：

  • publisher：消息发布者，将消息发送到队列queue
  • queue：消息队列，负责接受并缓存消息
  • consumer：订阅队列，处理队列中的消息

img

03.发布订阅模式

四个角色(新增交换机角色实现一个信息多个消息队列订阅进行消费)：

  • Publisher：生产者，也就是要发送消息的程序，但是不再发送到队列中，而是发给 exchange（交换机）
  • Consumer：消费者，与以前一样，订阅队列，没有变化
  • Queue：消息队列也与以前一样，接收消息、缓存消息
  • Exchange：交换机，一方面，接收生产者发送的消息；另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于 Exchange 的类型。Exchange 有以下3种类型：
    • Fanout：广播，将消息交给所有绑定到交换机的队列
    • Direct：定向，把消息交给符合指定 routing key 的队列
    • Topic：通配符，把消息交给符合 routing pattern（路由模式） 的队列

img

03.01 交换机三种类型的区别

**fanout:**可以理解为分发的意思，也就是说你只需要将队列绑定到交换机上，一个发送到交换机的消息都会被转发到与该交换机绑定的所有队列上，就像广播。

**direct:**可以理解为1对1定向发送，需要将一个队列绑定到交换机上，要求该消息与一个特定的路由键完全匹配。

topic:讲路由键和某种模式进行匹配。如"#“匹配一个或者多个词，”*“匹配一个词。如“topic.#”可以匹配到"topic.A.all”,"topic.*“只能匹配到"topic.A”

04.拓展知识点

rabbitmq是如何保证消息可靠不丢失不重复的

rabbitMq是通过信道（虚拟TCP模式）传递消息的，在发送端，设置发送者确认模式，通过信道发送消息（生成唯一的id），当发送到指定的队列后，给生产者发送一个ack指令说明消息已发送出去。若此过程中出现服务器异常，信道会给生产者发送一个nack指令，由于是异步的，生产者会再次发送消息出去

在接受端，设置为接收者确认模式，当消费者接收到消息时并确认后，mq会删除掉队列中的数据。当在确认之前出现服务器异常，mq会认为该消息没有被分发出去，重新下发给另一个消费者。

在消息生产时，MQ内部针对每条生产者发送的消息生成一个inner-msg-id，作为去重和幂等的依据（消息投递失败并重传），避免重复的消息进入队列；在消息消费时，要求消息体中必须要有一个bizId（对于同一业务全局唯一，如支付ID、订单ID、帖子ID等）作为去重和幂等的依据，避免同一条消息被重复消费。

05.SpringAMQP

01.什么是SpringAMQP

SpringAMQP 是基于 RabbitMQ 封装的一套模板，并且还利用 SpringBoot 对其实现了自动装配，使用起来非常方便。

SpringAMQP 的官方地址：https://spring.io/projects/spring-amqp

img img

SpringAMQP 提供了三个功能：

  • 自动声明队列、交换机及其绑定关系
  • 基于注解的监听器模式，异步接收消息
  • 封装了 RabbitTemplate 工具，用于发送消息

在SpringAMQP中订阅和发布非常简单，发布消息订阅时会有RabbitTemplate来使用，接收则只需要使用注解定义@RabbitListener来定义即可，需要绑定的Exchange也只需要声明即可

三种消息队列模式通过SpringAMQP来实现案例代码:

发送端代码:
https://github.com/codeXYW/Microservices/blob/main/mq/publisher/src/main/java/top/co4/publisher/service/AmqpControllerService.java

接收端:
https://github.com/codeXYW/Microservices/blob/main/mq/consumer/src/main/java/top/co4/consumer/config/SpringRabbitListener.java
05.拓展知识点
01.关于多个消费者消费信息是处理能力问题

消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。个消费者共同处理消息处理，速度能大大提高,消息是平均分配给每个消费者，并没有考虑到消费者的处理能力。这是因为 RabbitMQ 默认有一个消息预取机制，显然这不是我们想要的结果，我们需要的是能者多劳，所以去限制每次只能取一条消息，可以解决这个问题。

spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息
02.关于rabbit中队列不存在问题

在SpringAMQP中如果订阅的队列不存在就会启动错误所以给出一下解决方案将所有需要订阅的队列通过声明bean的方式在服务启动时创建即可

案例代码:
https://github.com/codeXYW/Microservices/blob/main/mq/consumer/src/main/java/top/co4/consumer/config/QueueConfig.java
03.关于服务端和客户端谁来负责交换机和消息队列之间的绑定

在SpringAMQP使用有一种思维，发送端只要注意是发送给交换机还是队列，发送给交换机时不管交换机是否和队列进行绑定，只管发送(交换机和队列),至于队列和交换机绑定的事情就交全权交由订阅端来做，这样一来即可实现无限制拓展客户端，在客户端需要时主动找到交换机进行消息队列绑定即可，当然这只是我一家之言

04.关于信息序列化问题(消息转换器)

Spring 会把你发送的消息序列化为字节发送给 MQ，接收消息的时候，还会把字节反序列化为 Java 对象。**默认情况下 Spring 采用的序列化方式是 JDK 序列化。**众所周知，JDK序列化存在下列问题：

  • 数据体积过大
  • 有安全漏洞
  • 可读性差

我们推荐可以使用 JSON 来序列化

在 publisher 和 consumer 两个服务中都引入依赖

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-xml</artifactId>
    <version>2.9.10</version>
</dependency>

配置消息转换器。

在各自的启动类中添加一个 Bean 即可

@Bean
public MessageConverter jsonMessageConverter(){
    return new Jackson2JsonMessageConverter();
}

效果

image-20220713151250825

image-20220713151218934

接收端:
https://github.com/codeXYW/Microservices/blob/main/mq/consumer/src/main/java/top/co4/consumer/config/SpringRabbitListener.java
CodeWYX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Springboot 整合RabbitMq ，用心看完这一篇就够了
默默不代表沉默
09-04 49万+
该篇文章内容较多，包括有rabbitMq相关的一些简单理论介绍，provider消息推送实例，consumer消息消费实例，Direct、Topic、Fanout的使用，消息回调、手动确认等。 （但是关于rabbitMq的安装，就不介绍了） 在安装完rabbitMq后，输入http://ip:15672/，是可以看到一个简单后台管理界面的。 在这个界面里面我们可以做些什么？ 可以手动创建............
RabbitMQ从0到1入门
赵昕彧
05-10 339
一.介绍 RabbitMQ是Erlang语言开发，基于AMQP协议实现的消息队列，在中小型企业应用广泛。 二.应用场景 任务异步处理 应用程序解耦 流量削峰 日志处理 … 三.优势 使用简单，功能强大 基于AMQP协议（这是一种二进制协议，提供客户端与消息中间件之间异步、安全、高效地交互） 社区活跃，文档完善 使用Erlang语言开发，高并发性能好 SpringBoot默认已经集成RabbitMQ 四.工作流程 发送消息 生产者（producer）和Broker（MQ）
RibbitMQ
Ode_an_die_Freude的博客
07-16 216
https://note.youdao.com/ynoteshare1/index.html?id=cf773cb4b651815212ed93db3e19adbc&type=note
部署rabbitmq3.10.6详细步骤
W1124824402的博客
06-01 747
并不支持负载均衡，支持高并发，支持可扩展。yum -y install rabbitmq-server-3.8.29-1.el7.noarch.rpm 安装rabbitmq。创建一个名为 test的新虚拟主机，虚拟主机是逻辑上的概念，可用于隔离不同应用程序或服务之间的 AMQP 交流。给admin用户分配administrator 标签，该标签赋予该用户对虚拟主机和其他用户进行管理的权限。RabbitMQ是Erlang开发的，集群非常方便，因为Erlang天生就是分布式语言，但其本身。
Docker安装rabbitmq并配置延迟队列
Old丶X
08-04 896
我们点击Exchanges，新增一个add a new exchange发现这里默认是没有延迟队列的选项的。-e RABBITMQ_DEFAULT_USER:指定rabbitmq的默认管理员账号。-e RABBITMQ_DEFAULT_PASS:指定rabbitmq的默认管理员密码。OK，配置完成之后，接下来我们执行 exit 命令退出 RabbitMQ 容器。访问下:其中15672是UI端口，5672是连接mq操作的端口。将此插件复制到容器里面的plugins目录。下载rabbitmq镜像。......
rabbit mq研究（三）rabbitmq_management介绍
s_156的博客
02-19 968
rabbitmq_management默认地址为：http://ip:15672或http://ip:55672，如下图： 用户名默认有guest，密码为guest，可以使用命令增加其他用户并授权 ./rabbitmqctl add_user ewallet 123456 ./rabbitmqctl set_user_tags ewallet administrator 进...
从rabbitmq到rocketmq
oatlmy
02-15 2071
对比学习 rocketmq 的结构、集群架构以及消费者组和重平衡
RabbitMQ从入门到精通（详细）
qq_43614322的博客
04-25 6706
根据最近对rabbitmq的深入学习，记录了相应的学习笔记，希望能帮助到大家。
RabbitMQ从原理到实战—基于Golang【万字详解】
weixin_44545838的博客
08-27 4355
最近秋招开始找工作，顺便回顾消息队列并且总结。
RabbitMQ：从入门到实践
沐雨风栉
05-02 1825
RabbitMQ是一款开源的、基于AMQP协议的消息队列系统，用于构建可扩展、高性能、松耦合的分布式系统。支持多种语言和平台：Java、Python、Ruby、.NET等提供丰富的交换器类型和路由策略：直接、广播、主题和头支持消息持久化和高可用性：保证消息不丢失，服务可用性提供管理界面和监控插件：方便管理和监控RabbitMQ服务器社区活跃，文档丰富：易于学习和使用本文详细介绍了RabbitMQ的基本概念、安装与配置方法、Java示例以及进阶特性和最佳实践。
RabbitMQ流量控制机制分析1
08-08
RabbitMQ 是用 erlang/OTP 开发的，一个消息从被接收到被发送给订阅者，必然要在多个进程间的转发。RabbitMQ 通过监控这条链上每个节点“mailbox”中未被接收的消息数量，决定何时关闭闸门。每个进程字典中有一对...
RabbitMQ系统客户端连接到RabbitMQ服务端消息通信过程1
08-03
- 客户端发送AMQP协议头，即`, 0, 0, 9, 1>>`，作为连接的一部分。 2. **AMQP协议交互**： - 服务端收到协议头后，发送`connection.start`消息，包含其特性。 - 客户端回应`connection.start_ok`，提供自己的...
rabbitmq-server3.10.5
01-10
RabbitMQ支持AMQP 0-9-1版本，提供了跨平台的兼容性和可扩展性。 3. **RabbitMQ的安装** 在Windows上，可以通过下载像`rabbitmq-server3.10.5.exe`这样的安装程序来安装RabbitMQ。执行安装过程，配置必要的环境...
158-最简单的 RabbitMQ 监控方法1
08-08
在日志分析中，发现nova、neutron等多个模块报告找不到相关queue，且RabbitMQ日志出现大量Error。通过重启RabbitMQ，系统暂时恢复。在RabbitMQ Web控制台上，发现Unacked Message数值持续增长，进一步追踪发现问题是...
rabbitmq + Erlang
04-29
例如，它可能改进了AMQP 0-9-1（RabbitMQ的主要消息协议）的性能，并增强了与其他协议如STOMP和MQTT的交互。此外，3.9版本可能也修复了一些已知的错误，提高了系统的稳定性和安全性。 **RabbitMQ的使用** 安装好...
GateWay网关微服务定位和理论知识
weixin_53908842的博客
07-24 420
客户端向Spring Cloud Gateway发送请求。SPring Cloud Gateway组件的核心是一系列的过滤器，通过这些过滤器可以将客户端发送的请求转发（路由）到对应的微服务。断言（predicate）参考的是java8的java.util.function.predicate开发者可以匹配http请求中的所有内容（例如请求头或者请求参数），如果请求与断言橡皮撇则进行路由。过滤：指的是Spring框架中的Gatewayfilter的实例，使用过滤器，可以在请求被旅游前或者之后对请求进行修改。
SpringBoot实现RabbitMQ的通配符交换机(SpringAMQP 实现Topic交换机)
时间如瑾 代码如诗
07-25 561
本文介绍了如何在SpringBoot项目中使用RabbitMQ的TopicExchange实现动态路由消息，通过通配符规则将消息发送到不同队列，如business.test.topic.queue1和queue2，并展示了生产者和消费者的具体实现。Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定的时候使用通配符！
RabbitMQ+redis+Redisson分布式锁+seata实现订单服务
架构师小吴的博客
07-22 827
（相关解释直接在代码注释上了）
方案-基于云架构的校园信息化建设方案.pdf
最新发布
07-29
方案-基于云架构的校园信息化建设方案.pdf
rabbitmq从0到1
03-31
1. 安装RabbitMQ服务器 在官网上下载RabbitMQ服务器并安装。 2. 启动RabbitMQ服务器 在命令行窗口中输入“rabbitmq-server”命令以启动服务器。 3. 安装RabbitMQ客户端库 在命令行中使用命令“pip install pika”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CodeWYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值