RabbitMQ(Message Queue消息队列)

已于 2022-11-21 18:32:37 修改
阅读量3.2k 收藏 7
点赞数
分类专栏： 消息队列 文章标签： java-rabbitmq rabbitmq java
于 2022-10-02 15:36:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45987569/article/details/127142467
版权

RabbitMQ 消息队列

异步处理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用解耦

在这里插入图片描述
在这里插入图片描述

流量控制

在这里插入图片描述

一、概述

1、大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力

2、消息服务中两个重要概念：

- 消息代理（message broker）和目的地（destination）

当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地。

3、消息队列主要有两种形式的目的地

  • 队列（queue）：点对点消息通信（point-to-point）
  • 主题（topic）：发布（publish）/订阅（subscribe）消息通信

4、点对点式：

- 消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获 取消息内容，消息读取后被移出队列
- 消息只有唯一的发送者和接受者，但并不是说只能有一个接收者

5、发布订阅式：

- 发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个 主题，那么就会在消息到达时同时收到消息

6、JMS（Java Message Service）JAVA消息服务：

- 基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现

7、AMQP（Advanced Message Queuing Protocol）

- 高级消息队列协议，也是一个消息代理的规范，兼容JMS
- RabbitMQ是AMQP的实现
JMS（Java Message Service）AMQP（Advanced Message Queuing Protocol）
定义Java api网络线级协议
跨语言否是
跨平台否是
Model提供两种消息模型：Peer-2-Peer,Pub/sub提供了五种消息模型：direct exchange,fanout exchange,topic change,headers exchange,system exchange
支持消息类型多种消息类型：TextMessage,MapMessage,BytesMessage,StreamMessage, ObjectMessage,Message （只有消息头和属性）byte[],当实际应用时，有复杂的消息，可以将消息序列化后发送
综合评价JMS 定义了JAVA API层面的标准；在java体系中， 多个client均可以通过JMS进行交互，不需要应用修 改代码，但是其对跨平台的支持较差AMQP定义了wire-level层的协议标准；天然具有跨平 台、跨语言特性。
Spring支持

8、Spring支持

  • spring-jms提供了对JMS的支持
  • spring-rabbit提供了对AMQP的支持
  • 需要ConnectionFactory的实现来连接消息代理
  • 提供JmsTemplate、RabbitTemplate来发送消息
  • @JmsListener（JMS）、@RabbitListener（AMQP）注解在方法上监听消息 代理发布的消息
  • @EnableJms、@EnableRabbit开启支持

9、Spring Boot自动配置

  • JmsAutoConfiguration
  • RabbitAutoConfiguration

10、市面的MQ产品

  • ActiveMQ、RabbitMQ、RocketMQ、Kafka

二、RabbitMQ概念

RabbitMQ简介：

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。

核心概念

Message

消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成， 这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可 能需要持久性存储）等。

Publisher

消息的生产者，也是一个向交换器发布消息的客户端应用程序。

Exchange

交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型：direct(默认)，fanout, topic, 和headers，不同类型的Exchange转发消息的策略有所区别

Queue

消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直 在队列里面，等待消费者连接到这个队列将其取走。

Binding

绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交 换器理解成一个由绑定构成的路由表。
Exchange 和Queue的绑定可以是多对多的关系。

Connection

网络连接，比如一个TCP连接。

Channel

信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。

Consumer

消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。

Virtual Host

虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加 密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥 有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 /

Broker

表示消息队列服务器实体
在这里插入图片描述

三、Docker安装RabbitMQ

docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p  25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management

4369, 25672 (Erlang发现&集群端口)
5672, 5671 (AMQP端口)
15672 (web管理后台端口)
61613, 61614 (STOMP协议端口)
1883, 8883 (MQTT协议端口)
https://www.rabbitmq.com/networking.html

在这里插入图片描述

四、RabbitMQ运行机制

AMQP 中的消息路由

AMQP 中消息的路由过程和 Java 开 发者熟悉的 JMS 存在一些差别， AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布 到 Exchange 上，消息最终到达队列 并被消费者接收，而 Binding 决定交 换器的消息应该发送到那个队列。
在这里插入图片描述

Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键， headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：
在这里插入图片描述
消息中的路由键（routing key）如果和 Binding 中的 binding key 一致，交换器 就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换 机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发 “dog.puppy”，也不会转发“dog.guard” 等等。它是完全匹配、单播的模式。
在这里插入图片描述
每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交 换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内 的主机都获得了一份复制的消息。 fanout 类型转发消息是最快的。
在这里插入图片描述
topic 交换器通过模式匹配分配消息的 路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。 它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号 “*”。#匹配0个或多个单词，*匹配一 个单词。
在这里插入图片描述

五、RabbitMQ整合

  1. 引入 spring-boot-starter-amqp
  2. application.yml配置
  3. 测试RabbitMQ
    1. AmqpAdmin：管理组件
    2. RabbitTemplate：消息发送处理组件
    3. @RabbitListener 监听消息的方法可以有三种参数（不分数量，顺序）
      • Object content, Message message, Channel channel

六、RabbitMQ消息确认机制-可靠抵达

  • 保证消息不丢失，可靠抵达，可以使用事务消息，性能下降250倍，为此引入确认机制
  • publisher confirmCallback 确认模式
  • publisher returnCallback 未投递到 queue 退回模式
  • consumer ack机制
    在这里插入图片描述

可靠抵达-ConfirmCallback

spring.rabbitmq.publisher-confirms=true

  • 在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项，开启 confirmcallback 。
  • CorrelationData：用来表示当前消息唯一性。
  • 消息只要被 broker 接收到就会执行 confirmCallback，如果是 cluster 模式，需要所有 broker 接收到才会调用 confirmCallback。
  • 被 broker 接收到只能表示 message 已经到达服务器，并不能保证消息一定会被投递 到目标 queue 里。所以需要用到接下来的 returnCallback 。

可靠抵达-ReturnCallback

spring.rabbitmq.publisher-returns=true

  • spring.rabbitmq.template.mandatory=true
    • confrim 模式只能保证消息到达 broker，不能保证消息准确投递到目标 queue 里。在有些业务场景下，我们需要保证消息一定要投递到目标 queue 里，此时就需要用到 return 退回模式。
    • 这样如果未能投递到目标 queue 里将调用 returnCallback ，可以记录下详细到投递数据，定期的巡检或者自动纠错都需要这些数据。

可靠抵达-Ack消息确认机制

  • 消费者获取到消息，成功处理，可以回复Ack给Broker
    • basic.ack用于肯定确认；broker将移除此消息
    • basic.nack用于否定确认；可以指定broker是否丢弃此消息，可以批量
    • basic.reject用于否定确认；同上，但不能批量
  • 默认自动ack，消息被消费者收到，就会从broker的queue中移除 - queue无消费者，消息依然会被存储，直到消费者消费
  • 消费者收到消息，默认会自动ack。但是如果无法确定此消息是否被处理完成， 或者成功处理。我们可以开启手动ack模式
    • 消息处理成功，ack()，接受下一个消息，此消息broker就会移除
    • 消息处理失败，nack()/reject()，重新发送给其他人进行处理，或者容错处理后ack
    • 消息一直没有调用ack/nack方法，broker认为此消息正在被处理，不会投递给别人，此时客户 端断开，消息不会被broker移除，会投递给别人

七、RabbitMQ延时队列（实现定时任务）

场景： 比如未付款订单，超过一定时间后，系统自动取消订单并释放占有物品。
常用解决方案：
spring的 schedule 定时任务轮询数据库
缺点： 消耗系统内存、增加了数据库的压力、存在较大的时间误差
解决：rabbitmq的消息TTL和死信Exchange结合

消息的TTL（Time To Live）

  • 消息的TTL就是消息的存活时间。
  • RabbitMQ可以对队列和消息分别设置TTL。
    • 对队列设置就是队列没有消费者连着的保留时间，也可以对每一个单独的消息做单独的 设置。超过了这个时间，我们认为这个消息就死了，称之为死信。
    • 如果队列设置了，消息也设置了，那么会取小的。所以一个消息如果被路由到不同的队 列中，这个消息死亡的时间有可能不一样（不同的队列设置）。这里单讲单个消息的 TTL，因为它才是实现延迟任务的关键。可以通过设置消息的expiration字段或者x- message-ttl属性来设置时间，两者是一样的效果。

Dead Letter Exchanges（DLX）

• 一个消息在满足如下条件下，会进死信路由，记住这里是路由而不是队列，
一个路由可以对应很多队列。（什么是死信）
- 一个消息被Consumer拒收了，并且reject方法的参数里requeue是false。也就是说不 会被再次放在队列里，被其他消费者使用。（basic.reject/ basic.nack）requeue=false
- 上面的消息的TTL到了，消息过期了。
- 队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上

  • Dead Letter Exchange其实就是一种普通的exchange，和创建其他 exchange没有两样。只是在某一个设置Dead Letter Exchange的队列中有 消息过期了，会自动触发消息的转发，发送到Dead Letter Exchange中去。
  • 我们既可以控制消息在一段时间后变成死信，又可以控制变成死信的消息 被路由到某一个指定的交换机，结合二者，其实就可以实现一个延时队列
  • 手动ack&异常消息统一放在一个队列处理建议的两种方式
    • catch异常后，手动发送到指定队列，然后使用channel给rabbitmq确认消息已消费
    • 给Queue绑定死信队列，使用nack（requque为false）确认消息消费失败
      在这里插入图片描述

延时队列实现-1

在这里插入图片描述

延时队列实现-2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SpringBoot中使用延时队列

  • 1、Queue、Exchange、Binding可以@Bean进去
  • 2、监听消息的方法可以有三种参数（不分数量，顺序）
    • Object content, Message message, Channel channel
  • 3、channel可以用来拒绝消息，否则自动ack；

如何保证消息可靠性-消息丢失

消息丢失

- 消息发送出去，由于网络问题没有抵达服务器 
	- 做好容错方法（try-catch），发送消息可能会网络失败，失败后要有重试机制，可记录到数据库，采用定期扫描重发的方式 
	- 做好日志记录，每个消息状态是否都被服务器收到都应该记录 
	- 做好定期重发，如果消息没有发送成功，定期去数据库扫描未成功的消息进行重发
- 消息抵达Broker，Broker要将消息写入磁盘（持久化）才算成功。此时Broker尚 未持久化完成，宕机。
	- publisher也必须加入确认回调机制，确认成功的消息，修改数据库消息状态。
- 自动ACK的状态下。消费者收到消息，但没来得及消息然后宕机 
	- 一定开启手动ACK，消费成功才移除，失败或者没来得及处理就noAck并重新入队

如何保证消息可靠性-消息重复

消息重复

- 消息消费成功，事务已经提交，ack时，机器宕机。导致没有ack成功，Broker的消息 重新由unack变为ready，并发送给其他消费者 
- 消息消费失败，由于重试机制，自动又将消息发送出去 
- 成功消费，ack时宕机，消息由unack变为ready，Broker又重新发送
	- 消费者的业务消费接口应该设计为幂等性的。比如扣库存有 工作单的状态标志 
	- 使用防重表（redis/mysql），发送消息每一个都有业务的唯 一标识，处理过就不用处理 
	- rabbitMQ的每一个消息都有redelivered字段，可以获取是否 是被重新投递过来的，而不是第一次投递过来的

如何保证消息可靠性-消息积压

消息积压

  • 消费者宕机积压
  • 消费者消费能力不足积压
  • 发送者发送流量太大
    • 上线更多的消费者，进行正常消费
    • 上线专门的队列消费服务，将消息先批量取出来，记录数据库，离线慢慢处理

MQ对比

在这里插入图片描述

Fong灵
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RabbitMQ消息队列__学习报告
weixin_70228478的博客
10-26 3458
（1）（开发者）查看所有的队列：rabbitmqctl list_queues（2）（开发者）清除所有的队列：rabbitmqctl reset（3）添加用户：rabbitmqctl add_user username password（4）分配角色：rabbitmqctl set_user_tags username administrator（5）新增虚拟主机：rabbitmqctl add_vhost vhost_name。
RabbitMQ之消息模式简单易懂，超详细分享~~~
zyq025的专栏
09-13 4642
业务遇上对的消息模式很重要
RabbitMQ 管理页面该如何使用
heishuiloveyou的博客
06-07 5573
management： 用户可以通过 AMQP 做的任何事 列出自己可以通过 AMQP 登入的 virtual hosts 查看自己的 virtual hosts 中的 queues, exchanges 和 bindings 查看和关闭自己的 channels 和 connections 查看有关自己的 virtual hosts 的“全局”的统计信息，包含其他用户在这些 virtual hosts 中的活动。右上角是页面刷新的时间，默认是 5 秒刷新一次，展示的是所有的 Virtual host。
RabbitMQ 管理界面操作说明
19：30的博客
01-04 1万+
rabbitmq 管理界面操作使用
如何使用rabbitmq的管理界面查看队列的消息内容和人工发送消息内容
热门推荐
qq_34004088的博客
12-21 3万+
1、获取队列中的消息 点击queues，Get Message(s),Payload里的内容就是 2、人工往队列里发消息 Headers 设置contentType application/json Payload里填上发送内容，点击Publish message 就可以
RabbitMq消息队列指南.docx
07-05
RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开发中应用非常广泛。 MQ 为Message Queue ， 消息...
RabbitMQ消息队列的基本使用及安装方法
03-06
Rabbitmq归属于mq，mq的全称是 Message Queue，又称消息队列/消息中间件，其实应用程序与应用程序之间的通信方法。
rabbitmq消息队列
02-25
消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。...
消息队列RabbitMQ入门与5种模式详解
01-27
MQ全称为MessageQueue，消息队列是应用程序和应用程序之间的通信方法； RabbitMQ是开源的，实现了AMQP协议的，采用Erlang(面向并发编程语言)编写的，可复用的企业级消息系统； AMQP（高级消息队列协议）是一个异步...
message-queue:php的消息队列
06-07
消息队列（Message Queue）：把消息按照产生的次序加入队列，而由另外的处理程序/模块将其从队列中取出，并加以处理；从而形成了一个基本的消息队列。应用场景：短信服务、电子邮件服务、图片处理服务、好友动态推送...
rabbitMq怎么查看队列消息-Tracing日志
zwtwbb的专栏
07-03 3794
Trace 是Rabbitmq用于记录每一次发送的消息，方便使用Rabbitmq的开发者调试、排错。 1、启动Tracing插件 在RabbitMQ中默认是关闭的，需手动开启。此处rabbitMQ是使用docker部署的 ## 进入rabbitMq中 docker exec -it rabbitmq1 bash ## 启动日志插件 rabbitmq-plugins enable rabbitm...
Rabbitmq消息队列详解
qq_52030824的博客
11-01 4079
Rabbitmq消息队列详解
RabbitMQ-网页使用消息队列
最新发布
vcoy的博客
10-03 2828
RabbitMQ-网页使用消息队列
RabbitMQ
m0_56134903的博客
12-11 2193
服务异步通信 消息队列在使用过程中，面临着很多实际问题需要思考： 1.消息可靠性 消息从发送，到消费者接收，会经理多个过程： 其中的每一步都可能导致消息丢失，常见的丢失原因包括： 发送时丢失： 生产者发送的消息未送达exchange 消息到达exchange后未到达queue MQ宕机，queue将消息丢失 consumer接收到消息后未消费就宕机 针对这些问题，RabbitMQ分别给出了解决方案： 生产者确认机制 mq持久化 消费者确认机制 失败重试机制 1.1.生产者消息确认 Rabb
RabbitMQ消息列队
qq_38567182的博客
10-09 2854
RabbitMQ
RabbitMQ一些常用的命令
极客神殿
06-06 4609
这些命令可以用于获取 RabbitMQ 实例的各种状态信息，例如队列、交换器、连接、通道等的状态，从而帮助进行监控和管理 RabbitMQ 实例。更多的命令和选项可以通过。命令时，需要具有足够的权限，并且谨慎操作，以避免对 RabbitMQ 实例造成不必要的影响。以下是一些常用的 RabbitMQ 控制台命令（使用。的官方文档进行查阅和学习。
一文读懂RabbitMQ消息队列
zhoupenghui168的博客
04-27 2192
什么是消息队列，为什么要使用消息队列,消息队列使用的场景，RabbitMQ介绍,RabbitMQ的高级特性，RabbitMQ原理以及各种模式，RabbitMQ的高级特性，RabbitMQ的几种交换器，
使用RabbitMQ控制台查看和发送消息
我的博客
03-13 2768
点击queues --> Get Message(s) --> Payload里查看内容。Headers 设置contentType application/json。Payload里填上发送内容，点击Publish message 就可以。点击queues --> Publish message 发送消息。
rabbitmq消息追踪
qq_38639813的博客
07-11 3070
一旦开启，会影响性能，除非需要分析的时候才开启，否则不开启可通过管理界面查看分析，其实底层就是firehose，只不过可以用界面查看更方便进入rabbitmq的sbin文件夹。我的目录为D:\Program Files\RabbitMQ Server\rabbitmq_server-3.8.5\sbin，打开cmd窗口，执行如下命令。然后重启mq 界面会增加一个Tracing按钮1、format：一般选择text模式方便人去查看；json模式进行base64编码，是方便以后导出用来做程序分析的 2、max那
springboot整合rabbitmq配置 延时消息队列
03-28
在代码中创建消息队列，可以使用@Bean注解进行创建： ``` @Bean public Queue delayQueue() { return new Queue("delay_queue"); } ``` 4. 创建交换机 创建交换机，可以使用@Bean注解进行创建： ``` @Bean ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值