【MQ知识点及RabbitMQ应用】

最新推荐文章于 2024-09-06 20:53:00 发布
最新推荐文章于 2024-09-06 20:53:00 发布
阅读量588 收藏 28
点赞数 27
文章标签： rabbitmq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44353557/article/details/140305928
版权

文章目录

一、MQ使用背景

（1）同步功能耦合高，异步可进行功能解耦
（2）同步响应时间比较长，异步可以快速响应
（3）同步会导致并发压力向后传递，异步可以削峰限流
（4）同步系统结构弹性不足，异步便于扩展
同步

异步

二、什么是MQ

1.定义

在这里插入图片描述
由于消息队列执行的是跨应用的信息传递，所以制定底层通信标准非常重要。目前主流的消息队列通信协议包括：

  • AMQP（Advanced Message Queuing Protocol）：通用协议，IBM研发
  • JMS(Java Message Service)：专门为JAVA语言服务，SUN公司研发，一组有JAVA接口组成的标准
    在这里插入图片描述

2、MQ产品对比

在这里插入图片描述

三、RabbitMQ

1 RabbitMQ相关概念

  • producer:消息生产者
  • consumer:消息接收者
  • broker：服务器实例，负责接收和分发消息
  • virtual host: 虚拟分组，用户在自己的virtual host中使用MQ组件，在实际开发中，通过virtual host区分不同项目、不同功能
  • exchange:交换机，消息到达broker的第一站，不会存储消息
  • Queue:消息的容器，消息放在这里等待被consumer取走，消息被取走后，队列会删除该消息
  • deliveryTag：交付标签机制（Long型），消费端将消息处理成ACK，NACK，Reject等返回给Broker后，Broker需要对对应的消息执行后续操作，例如：删除消息、重新排队或者标记为死信等等。那么Broker就必须知道他现在要操作的消息具体是哪一条，而deliveryTag作为消息的唯一标识就很好的满足了这个需求。

connection复用：建立TCP连接需要三次握手，反复确认。如果每一次访问RabbitMQ都建立一个connection，开销极大，效率低下。所以Channel就是在一个已经建立的connection中创建的逻辑连接。如果应用程序支持多线程，那么每个线程创建一个单独的Channel进行通讯。每个Channel都用自己的ID，Channel之间完全隔离。核心：connection复用。

2 RabbitMQ体系结构

在这里插入图片描述

3 RabbitMQ工作模式

在这里插入图片描述

a 简单模式（Simple Queue Model）
定义：生产者将消息发送到队列，消费者从队列中获取消息并处理
使用场景：适用于一对一的消息传递场景

b 工作队列模式（Work Queue Model）
定义：多个消费者监听同一队列（底层使用了默认交换机），从中获取消息，消息在消费者之间负载均衡（RabbitMQ以轮询方式将消息分发给消费者），各个消费者之间是竞争关系（因为每条消息只有一个消费者去处理）
使用场景：适用于任务分发和并行处理的场景

c 发布/订阅模式（Publish/Subscribe Model）
定义：消息被发送到交换机（Fanout类型），再由交换机分发到绑定的队列，多个消费者可以订阅同一个队列
使用场景：广播消息场景
区别：生产者不是把消息直接发送给队列，而是发送到交换机

d 路由模式（Routing Model）
定义：使用带有路由键的交换机（Direct类型），通过路由绑定的方式，把交换机和队列关联起来，消息根据路由键被分发到相应的队列，生产者发送消息时不仅要指定交换机，还要指定路由键
场景：适用于需要有选择性地接收消息的场景
-和发布/订阅者模式的区别：交换机不同；队列绑定时需要指定routing key

e 主题模式（Topic Model）
定义：使用带有主题的交换机，消息根据主题模式（如log.*）分发到对应队列
使用场景：适用于复杂的路由需要，允许使用通配符进行匹配
通配符规则：

  • #:匹配零个或者多个词
  • *:匹配一个词

f RPC模式（Remote Procedure Call Model）
定义：允许客户端发送请求并等待服务器的响应，模拟远程调用过程，非典型
使用场景：适用于需要同步请求-响应机制的场景

g 头交换模式 （Headers Exchange Model）
定义：使用消息头属性（headers）来路由消息，而不是路由键或主题
场景：适用于需要基于多个属性进行路由的场景

<扩展>交换机

  • 交换机类型：
    （1）Fanout类型：扇出交换机，广播，将消息发送给所有绑定到交换机的队列
    （2）direct类型：直连交换机，定向，把消息交给符合指定路由键routing key的队列
    （3）Topic：主题交换机，通配符，把消息交给符合指定routing pattern(路由模式)的队列
    （4）header：头部交换机，根据消息头属性进行匹配

  • 交换机只负责转发消息，不存储消息

4 RattbitMQ整合Springboot

（1）接收消息

1、先把监听器放到IOC容器中，加上@Component
2、处理消息的方法定义，加上注解@RabbitListener

@RabbitListener(bindings=@QueueBinding(
value=@Queue(value=QUEUE_NAME,durable="true"),
exchange=@Exchange(value=EXCHANGE_DIRECT),
key={ROUTING_KEY}))
public void processMessage(String dateString,Meaasge message,Channel channel){
prcess();
}
  • value=@Queue(value=QUEUE_NAME,durable=“true”)：QUEUE_NAME队列名称，durable="true"持久化
  • exchange=@Exchange(value=EXCHANGE_DIRECT) 指定交换机
  • key={ROUTING_KEY}指定路由键，字符串数组类型

（2）发送消息

1、RabbitTemplate自动装配
2、rabbitTemplate.convertAndSend(EXCHANGE_NAME,ROUTING_KEY,“要发送的具体消息“);

5 可靠性投递

故障场景：消息没有发送到消息队列
解决思路A：在生产者端进行确认，具体操作会分别针对交换机和队列来确认，如果没有成功发送消息到消息队列服务器上，那就可以尝试重新发送
解决思路B：为目标交换机指定备份交换机，当目标交换机投递失败时，把消息投递至备份交换机
在这里插入图片描述

  • 备份交换机类型必须为fanout（广播模式找队列）

故障场景：消息队列服务器宕机导致内存中消息丢失
解决思路：持久化消息和队列，使用消息确认机制

故障场景：消费端宕机或抛异常导致消息没有成功被消费
解决思路：
如果消费端消费消息成功，给服务器返回ACK信息，然后消息队列删除该消息
如果消费端消费消息失败，给服务器返回NACK信息，同时把消息恢复为待消费状态，这样就可以再次取回消息，重试一次

6 其他知识点

(1) deliverTag交付标签机制

问题：如果交换机是fanout模式，同一个消息广播到不同队列，deliverTag会重复吗？
答：在同一个Broker内，deliverTag唯一。
在这里插入图片描述场景题1：
在这里插入图片描述

(2)prefetch消息端限流

prefetch概念

prefetch 是指在消息队列中，消费者在确认（acknowledge）之前可以预先获取的消息数量。这个机制可以防止某个消费者一次性获取太多消息而导致其他消费者无法获取到消息，从而实现更均衡的负载分配。

工作原理
  • 默认行为：如果不设置 prefetch，RabbitMQ 会将队列中的消息尽可能多地发送给消费者。这可能导致某个消费者积压大量消息，而其他消费者处于空闲状态。
  • 设置 prefetch：通过设置 prefetch 值，可以限制消费者在确认之前最多能获取的消息数量。例如，如果 prefetch 值设置为 1，消费者在确认前最多只能获取一条消息。
使用场景
  • 负载均衡：通过设置prefetch值，可以确保消息在多个消费者之间更均匀的分配，防止某个消费者因积压过多而成为瓶颈
  • 资源管理：限制消费者预先获取的消息数量，可以防止消费者一次性获取太多消息而占用过多内存或其他资源
  • 优化性能：在某些场景下，设置较小的 prefetch 值可以减少消息处理的延迟，而设置较大的 prefetch 值可以提高吞吐量。

在这里插入图片描述
在这里插入图片描述

(3) 死信

概念
  • 当一个消息无法被消费，就变成了死信
产生原因
  • 拒绝：消费者拒接消息，并且不把消息重新放入原目标队列
  • 溢出：队列消息超出限制。比如队列只能存10条消息，并且已经存储10条消息，当再发一条过来的时候，按照先进先出的原则，队列最早的消息会变成死信
  • 超时：消息到达超时时间没有被消费
处理方式
  • 丢弃：对不重要的消息直接丢弃不处理
  • 入库：把死信写入数据库之后处理
  • 监听：消息变成死信后进入死信队列，我们专门设置消费端监听死信队列，做后续处理

(4) 事务消息

  • 控制的是提交给broker之前，缓存中的消息
  • RabbitTransactionManager
    在这里插入图片描述

(5) 惰性队列

概念

惰性队列通过将消息尽可能多地存储在磁盘上，而不是内存中，从而减少内存消耗。这对于处理非常大规模的消息队列或需要长时间保留消息的场景特别有用。

优点

消息在磁盘上，减少了内存占用；
适合处理大量消息，提高了队列的可扩展性；
在消息积压严重的情况下，性能表现更好。

缺点

访问延迟——由于消息在磁盘上，访问消息会有一定延迟，特别是在高频访问的情况下；
磁盘I/O开销——频繁的磁盘读写操作可能会增加磁盘I/O开销，影响系统的整体性能

使用场景

批量处理——适合需要处理批量消息的场景，比如日志收集、数据批量处理等；
长时间积压——适合消息长时间积压的场景，避免内存占用过多；
资源访问受限系统——适合内存资源有限，但需要处理大量消息的系统。

(6) 优先级队列

  • RabbitMQ允许使用一个正整数（1～255，官网建议1到5之间）给消息设定优先级
  • 队列在声明时需要指定参数：x-max-priority，否则这个值默认是0，消息即使设置了优先级不设置这个也是无效的
  • 使用消息的后置处理器来完成代码实现

四、MQ热点场景题

如何保证消息的顺序性

RocketMQ为例：

  • 生产侧顺序性：如果要保证消息生产的顺序性，则必须满足以下几个条件
    （1）单一生产者：消息生产的顺序性只支持单一生产者
    （2）串行发送：RocketMQ生产者客户端之间支持多线程安全访问，但是如果生产者使用多线程并行发送，则不同线程产生的消息将无法判定其先后顺序

  • 消费侧顺序性：如果要保证消息消费的顺序性，则必须满足以下几个条件
    （1）按照投递顺序进行消费
    （2）有限重试

消息丢失

消息丢失的几种场景

（1）生产者发送到MQ服务器的过程中出现消息丢失。可能是网络波动没收到消息，又或者服务器宕机
（2）MQ服务器消息持久化出现消息丢失，消息发送到MQ之后，没能及时存储完成持久化，MQ服务器出现宕机
（3）消费者拉取过程异常

如何保证消息不丢失

（1）生产者——confirm消息确认机制
confirm模式是RabbitMQ提供的消息可靠性保证机制，当生产者通过confirm模式发送消息时，它会等待RabbitMQ服务的确认，确保消息已经被正确地投递到了指定的Exchange中。
消息被正确地投递到queue中，broker会返回ACK。
消息没有正确地投递到queue时，broker会返回nack。
如果exchange没有绑定对应的queue，也会出现消息丢失（开发者问题）
（2）MQ服务——消息持久化机制
持久化机制是指将消息存到磁盘上，以保证RabbitMQ重启或者宕机时，消息不会丢失。
使用方法：生产者通过将消息的delivery_mode属性设置为2，将消息标记为持久化。队列也需要持久化设置，确保队列在RabbitMQ服务器重启后仍然存在。经典队列需要将durable属性设置为true,仲裁队列和流式队列默认必须持久化保存
（3）消费者——ACK事务确认机制
确保消息被正确消费。当消息被消费者成功处理后，消费者发送ACK给RabbitMQ，告知消息可以被移除。这个过程是自动处理的，也可以关闭进行手动发送ACK。

重复消费

什么场景会发生

（1）生产者：生产者没有做接口幂等性，比如Controller接口被重复的调用了两次
（2）MQ：消费者消费成功时，MQ突然挂了，导致MQ以为消费者还没消费该条数据，MQ恢复后再次发送了该条消息
（3）消费者：消费后没来得及发送确认就挂掉了，MQ认为消费者还没消费，再次推消息

如何保证消息不被重复消费

（1）数据库唯一键约束：局限性很大
（2）乐观锁：假设是更新订单状态，在发送消息的时候带上修改字段的版本号，缺陷：多条消息可能版本号一致
（3）插入一个标记来进行判断

消息堆积

为什么会发生消息堆积

在这里插入图片描述

RabbitMQ如何解决消息堆积问题

（1）消费者处理消息的速度太慢

  • 增加消费者数量：通过水平扩展，增加消费者的数量来提高处理能力
  • 优化消费者性能：提高消费者处理信息的效率，例如优化代码、增加资源
  • 消息预取限制（prefetch count）：调整消费者获得消息的数量来避免一次处理过多消息导致处理缓慢

（2）队列容量太小

  • 调整队列设置以允许更多消息的存储

（3）网络故障

  • 监控和告警
  • 持久化和高可用性：确保消息和队列的持久化以避免消息丢失，并使用镜像队列提高可用性

（4）消费者故障

  • 死信队列：将无法处理的消息转移到死信队列，防止阻塞主队列
  • 容错机制：实现消费者的自动重启后错误处理逻辑

（5）队列配置不当

  • 优化配置：确认模式、队列长度限制和其他相关配置

（6）消息大小

  • 消息分片：将大型消息分割成小的消息片段，加快处理速度

（7）业务逻辑复杂或者耗时

  • 简化消费者处理逻辑

（8）消息产生速度快于消费速度

  • 使用消息限流：控制消息的生产速度
  • 负载均衡：确保消息在消费者之间公平分配，避免个别消费者过载

（9）其他优化配置

  • 消息优先级
  • 调整MQ配置

RabbitMQ交换机类型

1、direct直连交换机
通过路由键将消息和队列完全匹配
2、fanout扇出交换机
广播模式，将消息分发到所有队列
3、topic主题交换机
通过路由键进行模糊匹配，通过".“分为多个部分，”*“代表一个元素，”#"0个或者多个部分
4、headers头部交换机
匹配AMQP消息的header而不是路由键，几乎不用

源圈圈�
关注
MQ技术分享-RabbitMQ-11
08-03
【知识点详解】 1. **消息中间件**： - 消息中间件（Message Queue Middleware，MQ）是一种用于不同应用之间进行数据交流的工具，它通过高效可靠的消息传递机制实现跨平台的分布式系统集成。 - MQ提供消息传递和...
rabbitmq常见知识
wszjha123的博客
04-19 291
rabbitmq经典题目
RabbitMQ 知识点总结
Jack·Kwok的博客
05-13 2024
消息队列 MQ 的相关概念 什么是 MQ MQ = Message Queue = 消息队列 消息队列：存放内容是消息的 FIFO（先入先出） 队列。是一种跨进程的通信机制，用于上下游传递消息。 为什么要用 MQ ？ 1、流量消峰 举个例子，假如一个系统一秒最多可以处理一万次订单，这个处理能力在正常时段是绰绰有余的。但是在高峰的时候（例如双十一），一秒钟能达到两万次请求，这时候系统是处理不了这么多的，传统的方法是限制当请求超过一万之后不允许用户下单。而使用消息队列的话可以做为缓冲，把一秒内处理的订单分成一段
RabbitMQ常用知识点梳理
最新发布
zhangj1125的专栏
09-06 1194
如上图所示，同一个回调队列，服务器将响应消息发送到回调队列，通过correlation id关联请求和响应。
RabbitMQ知识点总结
qq_41707173的博客
05-22 2681
RabbitMQ 概述 生活中的案例生产中的问题为什么要使用 MQ 学生问问题的例子 2，分布式项目中 RPC 的调用处理时间过长的问题 为什么要使用 MQ 微服务架构后，链式调用是我们在写程序时候的一般流程，为了这完成一个整体功能会把它拆分成多 个函数（或子模块）比如模块 A 调用模块 B，模块 B 调用模块 C，模块 C 调用模块 D。但是大型分布式应用 中，系统间的 RPC 交互复杂，一个功能后面要调用上百个接口并非不可能，从单机架构过渡到分布式微服 务架构，这样的架构有没有问题...
RabbitMQ数据可靠性
weixin_42257972的博客
05-10 110
rabbitmq的消息可靠投递是如何保证的
RabbitMQ知识整理
zidongxiangxi的博客
12-29 2650
RabbitMq基础概念 Producer：生产者，投递消息的一方 Consumer：消费者，接收消息的一方 Broker：消息中间件的服务节点，对于RabbitMq而言，一个Broker可以看作一个RabbitMq服务节点 Queue：队列，RabbitMq的内部对象，用于存储消息。这一点与Kafka相反，Kafka将消息存储在topic这个逻辑层面，而对应的队列逻辑只是topic实际存储文件中的位移标识。 生产者生产消息最终投递到队列...
RabbitMQ3.9.15安装包及安装文档
11-09
在这个"RabbitMQ3.9.15安装包及安装文档"中，我们将深入探讨RabbitMQ的安装过程以及相关依赖，主要涉及以下知识点： 1. **RabbitMQ概述**：RabbitMQ是一个用Erlang编程语言开发的消息中间件，它的核心功能是作为...
RabbitMQ工具类封装实现
10-26
在封装订阅者线程时，通常会包括以下关键知识点： 1. **创建连接和通道**：使用`ConnectionFactory`创建与RabbitMQ服务器的连接，并通过`Channel`进行具体操作。`Channel`是执行大部分AMQP操作的对象，如声明交换机...
rabbitmq部署包及部署文档
09-14
【正文】 RabbitMQ是一种广泛使用的开源消息代理和队列服务器，它基于AMQP（Advanced Message Queuing...理解和掌握这些知识点，将有助于你成功地在生产环境中部署和管理RabbitMQ，从而实现高效的消息传递和任务调度。
RabbitMQ高级特性
qq_47727062的博客
09-15 1772
deliveryTag（唯一标识 ID）：当一个消费者向 RabbitMQ 注册后，会建立起一个 Channel ， RabbitMQ 会用 basic.deliver 方法向消费者推送消息，这个方法携带了一个 delivery tag， 它代表了 RabbitMQ 向该 Channel 投递的这条消息的唯一标识 ID，是一个单调递增的正整数，delivery tag 的范围仅限于 Channel multiple：为了减少网络流量，手动确认可以被批处理，当该参数为 true 时，则可以一次性
Rabbitmq基础
从基础到源码解析的学习记录
12-08 1437
文章目录一、RabbitMQ入门介绍1、RabbitMQ的工作原理二、RabbitMQ五种消息发送模式1、简单队列模式2、工作队列模式2.1、轮询分发（公平分发）2.2、能者多劳（不公平分发）3、发布订阅模式4、路由模型模式5、主题模式 一、RabbitMQ入门介绍 1、RabbitMQ的工作原理 组成部分说明： Broker：消息队列服务进程，此进程包括两个部分：Exchange和Queue Exchange：消息队列交换机，按一定的规则将消息路由转发到某个队列，对消息进行过虑 Queue：消息队列，
rabbitmq关于delivery_tag
t0m的专栏
10-30 9502
delivery_tag是消息投递序号，每个channel对应一个(long类型)，从1开始到9223372036854775807范围，在手动消息确认时可以对指定delivery_tag的消息进行ack、nack、reject等操作。 每次消费或者重新投递requeue后，delivery_tag都会增加，理论上该正常业务范围内，该值永远不会达到最大范围上限。可以根据每个消费者对应channe...
RabbitMQ系列【13】优先级队列
记录知识、锤炼自我
11-22 1882
RabbitMQ将消息写入队列中都是按顺序写的，消费时也是按顺序进行消费，队列中的消息是先进先出(FIFO).。首先测试一下没有优先级的效果。先注释掉所有的消费者，不然发一个就消费一个，看不出优先级的效果，只有消息堆积在一起时，才能看到效果。先发送10条消息：发送完成后，再开启消费者进行消费，没有设置优先级，那么先到达队列的消息先消费，收到的消息会从按照0-9的顺序消费。可以看到其时按照投递顺序消费，先进先出：在一些场景中我们需要将某些消息优先处理，也就是设置优先级，优先级高的消息优先被消费。
关于Mq你必须要知道的那些知识点
weixin_39533161的博客
10-22 581
关于Mq你必须要知道的那些知识点 文章目录关于Mq你必须要知道的那些知识点前言一、MQ的功能场景1.解耦2.削峰填谷3.最终一致性二、MQ的幂等性问题1.非幂等性产生的原因2.非幂等解决方案三、MQ的发布订阅模式和设计模式的观察者模式对比 前言 记录一下自己学习MQ的一些知识点，希望可以帮助到小伙伴们，说的不对的地方希望大家指正 一、MQ的功能场景 1.解耦 解耦分为空间解耦和时间解耦，比如生产者不需要知道消费者的存在，消费者也不需要知道生产者的存在，生产者和消费者不相互依赖，这样就实现了空间解耦。
RabbitMQ知识点
weixin_42100694的博客
02-01 777
1、什么是 rabbitmq 采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需要确保提供方存在,实现了服务之间的高度解耦 2、为什么要使用 rabbitmq （1）在分布式系统下具备异步,削峰,负载均衡等一系列高级功能; （2）拥有持久化的机制，进程消息，队列中的信息也可以保存下来。 （3）实现消费者和生产者之间的解耦。 （4）对于高并发场景下，利用消息队列可以使得同步访问变为串行访问达到一定量的限流，利于数据库的操作。 （5）可以使用消息队列达到异步下单的效果，排队中，后台进行
rabbitmq知识点
08-25
RabbitMQ是一种消息队列（MQ）系统，它具有多个相关概念和模式。其中一些重要的知识点包括： 1. RabbitMQ的四大概念：生产者、消费者、交换机和队列，它们一起构成了消息传递的基本组成部分。 2. RabbitMQ的六种模式：简单模式、工作模式、轮询分发、消息应答、自动应答和手动应答。 3. RabbitMQ持久化消息：可以将消息持久化到磁盘上，以防止消息在RabbitMQ发生故障时丢失。 4. 死信队列：当消息因某些原因无法被消费时，可以将其发送到死信队列中进行处理。 5. 延迟队列：可以设置消息的延迟时间，使其在一定时间后被消费。 6. 发布确认：可以通过发布确认机制来确保消息被成功发送到RabbitMQ。 7. RabbitMQ集群：可以通过搭建集群来实现高可用性和负载均衡。 8. 幂等性：消息的幂等性指的是多次处理同一消息不会产生副作用。 9. 优先级队列：可以为消息设置优先级，以确保高优先级的消息能够更快地被消费。 10. 惰性队列：惰性队列指的是只有在需要时才会被创建。 这些是RabbitMQ的一些重要知识点，它们可以帮助我们更好地理解和应用RabbitMQ。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [RabbitMQ 知识点总结](https://blog.csdn.net/PaperJack/article/details/124734987)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [RabbitMQ知识点](https://blog.csdn.net/weixin_42100694/article/details/113514641)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值