RabbitMQ

最新推荐文章于 2022-11-06 22:44:02 发布

新用户1

最新推荐文章于 2022-11-06 22:44:02 发布

阅读量447

点赞数

分类专栏： mq rabbitmq 消息队列文章标签： rabbitmq 中间件队列

本文链接：https://blog.csdn.net/weixin_45638744/article/details/108816374

版权

mq 同时被 3 个专栏收录

1 篇文章 0 订阅

订阅专栏

rabbitmq

1 篇文章 0 订阅

订阅专栏

消息队列

1 篇文章 0 订阅

订阅专栏

MQ概述

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。
在这里插入图片描述

小结

MQ，消息队列，存储消息的中间件
分布式系统通信两种方式：直接远程调用 和 借助第三方完成间接通信
发送方称为生产者，接收方称为消费者

MQ 的优势和劣势

优势	劣势
应用解耦	系统可用性降低
异步提速	系统复杂度提高
削峰填谷	一致性问题

MQ 的优势

应用解耦(提高系统容错性和可维护性)
异步提速(提升用户体验和系统吞吐量)
削峰填谷(提高系统稳定性)

MQ 的劣势

在这里插入图片描述

系统可用性降低
系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？
系统复杂度提高
MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
一致性问题
A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息数据，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

既然 MQ 有优势也有劣势，那么使用 MQ 需要满足什么条件呢？

生产者不需要从消费者处获得反馈。引入消息队列之前的直接调用，其接口的返回值应该为空，这才让明明下层的动作还没做，上层却当成动作做完了继续往后走，即所谓异步成为了可能。
容许短暂的不一致性。
确实是用了有效果。即解耦、提速、削峰这些方面的收益，超过加入MQ，管理MQ这些成本。

RabbitMQ 简介

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。2006年，AMQP 规范发布。类比HTTP。

RabbitMQ 基础架构如下图：
在这里插入图片描述

RabbitMQ 中的相关概念：

Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker
Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost 创建 exchange／queue 等
Connection：publisher／consumer 和 broker 之间的 TCP 连接
Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销
Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)
Queue：消息最终被送到这里等待 consumer 取走
Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding 信息被保存到 exchange 中的查询表中，用于 message 的分发依据

Spring 整合RabbitMQ

使用 Spring 整合 RabbitMQ 将组件全部使用配置方式实现，简化编码
Spring 提供 RabbitTemplate 简化发送消息 API
使用监听机制简化消费者编码

步骤：

生产者

创建生产者工程
添加依赖

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>

配置整合

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: admin
    password: admin
    virtual-host: /zhenghy123 #虚拟机名
    publisher-confirm-type: correlated #开启确认模式
    publisher-returns: true #开启回退模式

编写配置类配置交换机队列and交换机绑定队列

package top.zhenghy123.config;
import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class RabbitmqConfig {
    //声明交换机
    @Bean
    public Exchange topicExchange() {
        return ExchangeBuilder.topicExchange("topicExchange").build();
    }
    //声明交换机
    @Bean
    public Exchange fanoutExchange() {
        return ExchangeBuilder.fanoutExchange("fanoutExchange").build();
    }
    //声明队列
    @Bean
    public Queue springQueue1() {
        return QueueBuilder.durable("springQueue1").build();
    }
    //声明队列
    @Bean
    public Queue springQueue2() {
        return QueueBuilder.durable("springQueue2").build();
    }
    //声明队列
    @Bean
    public Queue springQueue3() {
        return QueueBuilder.durable("springQueue3").build();
    }
    //声明ttl(过期时间)队列
    @Bean
    public Queue springTTLQueue4() {
        return QueueBuilder.durable("springTTLQueue4").ttl(1000 * 60).build();
    }
    //绑定交换机和队列
    @Bean
    public Binding bindingQueueExchange1(@Qualifier("springQueue1") Queue queue, @Qualifier("topicExchange") Exchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with("*.error").noargs();
    }
    //绑定交换机和队列
    @Bean
    public Binding bindingQueueExchange2(@Qualifier("springQueue2") Queue queue, @Qualifier("fanoutExchange") Exchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with("").noargs();
    }
    //绑定交换机和队列
    @Bean
    public Binding bindingQueueExchange3(@Qualifier("springQueue3") Queue queue, @Qualifier("fanoutExchange") Exchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with("").noargs();
    }
}

编写代码发送消息

package top.zhenghy123;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.core.MessagePostProcessor;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
@SpringBootTest
class RabbitmqProducerSpringbootApplicationTests {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @Test
    void contextLoads() {
    }
    /**
     * 测试发送topic类型消息 通配符模式
     */
    @Test
    void sendTopicMessage() {
        rabbitTemplate.convertAndSend("topicExchange", "test.error", "测试规则匹配信息");
    }
    
    /**
     * 测试发送fanout类型消息 订阅模式
     */
    @Test
    void sendFanoutMessage() {
        rabbitTemplate.convertAndSend("fanoutExchange", "", "广播消息");
    }

    /**
     * 测试发送Work模式消息
     */
    @Test
    void sendMessage() {
        for (int i = 0; i < 10; i++) {
            rabbitTemplate.convertAndSend("springQueue1", i + "测试发送Work模式消息");
        }
    }
    
    /**
     * 确认模式
     */
    @Test
    void testConfirmCallback() {
        rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {
            if (ack) {
                System.out.println("消息发送成功!!");
            } else {
                System.out.println("消息发送失败!!");
                System.out.println(cause);
            }

        });
        rabbitTemplate.convertAndSend("fanoutExchange", "", "广播消息");
    }

    /**
     * 回退模式
     */
    @Test
    void testReturnCallback() {
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
            System.out.println("xx");
        });
        rabbitTemplate.convertAndSend("fanoutExchange", "", "广播消息");
    }

    /**
     * 发送过期消息
     */
    @Test
    void testSendTTLMessage() {
        MessagePostProcessor messagePostProcessor = new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                //设置消息5秒过期
                message.getMessageProperties().setExpiration("5000");
                return message;
            }
        };
        rabbitTemplate.convertAndSend("", "springTTLQueue4", "过期消息", messagePostProcessor);
    }
}

消费者

创建生产者工程
添加依赖

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>

配置整合

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: admin
    password: admin
    virtual-host: /zhenghy123
    listener:
      simple:
        acknowledge-mode: manual #开启手动确认

(在spring组件中)编写消息监听器

package top.zhenghy123;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import java.io.IOException;
@SpringBootApplication
public class RabbitmqConsumerSpringbootApplication {
    public static void main(String[] args) {
        SpringApplication.run(RabbitmqConsumerSpringbootApplication.class, args);
    }
    
    @RabbitListener(queues = "springQueue1")
    public void test1(Message message) {
        System.out.println("1" + message);
    }
    
    @RabbitListener(queues = "springQueue2")
    public void test2(Message message) {
        System.out.println("2" + message);
    }

    @RabbitListener(queues = "springQueue3")
    public void test3(Message message) {
        System.out.println("3" + message);
    }

    @RabbitListener(queues = "springQueue1")
    public void test4(Message message) {
        System.out.println("4" + message);
    }

    /**
     * 手动签收消息
     *
     * @param message
     */
    @RabbitListener(queues = "springQueue1")
    public void test5(Message message, Channel channel) throws IOException {
        long deliveryTag = message.getMessageProperties().getDeliveryTag();
        try {
//            int i = 1 / 0;
            System.out.println("4" + message);
            System.out.println("消息签收成功!");
            channel.basicAck(deliveryTag, true);
        } catch (Exception e) {
            System.out.println("消息签收失败!!");
            channel.basicNack(deliveryTag, true, true);
        }
    }
}

RabbitMQ 6 种工作模式 *****

简单模式一个生产者、一个消费者，不需要设置交换机（使用默认的交换)发布消息和下方工作队列模式一样
工作队列模式 work queues一个生产者、多个消费者（竞争关系），不需要设置交换机（使用默认的交换机） 发送消息时设置交换机为空 routing key为队列名称即可
广播模式 Publish/Subscribe 发布与订阅模式需要设置交换机类型为 fanout 的交换机，并且交换机和队列进行绑定，当发送消息到交换机后，交换机会将消息发送到绑定的队列。
Routing 路由模式需要设置类型为 direct 的交换机，交换机和队列进行绑定，并且指定 routing key，当发送消息到交换机后，交换机会根据 routing key 将消息发送到对应的队列。
Topics 通配符模式需要设置类型为 topic 的交换机，交换机和队列进行绑定，并且指定通配符方式的 routing key( * 号代表一个单词 # 号代表多个单词)，当发送消息到交换机后，交换机会根据 routing key 将消息发送到对应的队列。
RPC 远程调用模式（远程调用，不太算 MQ；暂不作介绍）。

RabbitMQ高级特性

消息的可靠投递

在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ 为我们提供了两种方式用来控制消息的投递可靠性模式。

confirm 确认模式
return 退回模式

rabbitmq 整个消息投递的路径为：

producer(生产者)—>rabbitmq broker(中间件)—>exchange(交换机)—>queue(队列)—>consumer(消费者)
- 消息从 producer 到 exchange 投递失败会返回一个 confirmCallback 。
- 消息从 exchange–>queue 投递失败则会返回一个 returnCallback 。

我们将利用这两个 callback 回调函数控制消息的可靠性投递

在yml中配置开启确认模式confirmCallback和退回模式returnCallback

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: admin
    password: admin
    virtual-host: /zhenghy123 #虚拟机名
    publisher-confirm-type: correlated #开启确认模式
    publisher-returns: true #开启回退模式

使用rabbitTemplate.setConfirmCallback设置回调函数。当消息发送到exchange后回调confirm方法。在方法中判断ack，如果为true，则发送成功，如果为false，则发送失败，需要处理。

    /**
     * 确认模式
     */
    @Test
    void testConfirmCallback() {
        rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {
            if (ack) {
                System.out.println("消息发送成功!!");
            } else {
                System.out.println("消息发送失败!!");
                System.out.println("失败原因"+cause);
            }

        });
        //发送消息
        rabbitTemplate.convertAndSend("fanoutExchange", "test", "测试消息");
    }

使用rabbitTemplate.setReturnCallback设置退回函数，当消息从exchange路由到queue失败后，如果设置了rabbitTemplate.setMandatory(true)参数(否则默认会丢弃消息)，则会将消息退回给producer。并执行回调函数returnedMessage。

    /**
     * 回退模式
     */
    @Test
    void testReturnCallback() {
        //设置交换机处理失败消息的模式(否则默认会丢弃消息)
        rabbitTemplate.setMandatory(true);
        //设置回调
        rabbitTemplate.setReturnCallback(
                /**
                 * message 消息对象
                 * replyCode 错误码
                 * replyText 错误信息
                 */
                (message, replyCode, replyText, exchange, routingKey) -> {
            System.out.println("return 执行了...");
        });
        //发送消息
        rabbitTemplate.convertAndSend("fanoutExchange", "", "广播消息");
    }

Consumer Ack

ack指Acknowledge，确认。表示消费端收到消息后的确认方式。
有三种确认方式：

自动确认：acknowledge-mode=“none” (默认)
手动确认：acknowledge-mode=“manual”
根据异常情况确认：acknowledge-mode=“auto”，（这种方式使用麻烦，不作讲解）

其中自动确认是指，当消息一旦被Consumer接收到，则自动确认收到，并将相应 message 从 RabbitMQ 的消息缓存中移除。但是在实际业务处理中，很可能消息接收到，业务处理出现异常，那么该消息就会丢失。如果设置了手动确认方式，则需要在业务处理成功后，调用channel.basicAck()，手动签收，如果出现异常，则调用channel.basicNack()方法，让其自动重新发送消息。

在yml中配置手动确认

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: admin
    password: admin
    virtual-host: /zhenghy123
    listener:
      simple:
        acknowledge-mode: manual #开启手动确认

手动确认代码

    /**
     * 手动签收消息
     *
     * @param message
     */
    @RabbitListener(queues = "springQueue1")
    public void test5(Message message, Channel channel) throws IOException {
        long deliveryTag = message.getMessageProperties().getDeliveryTag();
        try {
//            int i = 1 / 0;
            System.out.println(message);
            System.out.println("消息签收成功!");
            //手动签收消息
            channel.basicAck(deliveryTag, true);
        } catch (Exception e) {
            System.out.println("拒绝签收!!");
            //basicNack的第三个参数requeue设置为true则消息会重回队列,反之亦然
            channel.basicNack(deliveryTag, true, true);
        }
    }

消费端限流

在这里插入图片描述

消费端的确认模式一定为手动确认。acknowledge-mode=“manual”
在yml中配置 prefetch 属性设置消费端一次拉取多少消息每次从mq中拉取消息消费,直到消息手动确认消费完毕后,才会继续拉取下一条消息.

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: admin
    password: admin
    virtual-host: /zhenghy123
    listener:
      simple:
        acknowledge-mode: manual #开启手动确认
        prefetch: 1 #表示消费端每次从mq中拉一条消息消费,直到消息手动确认消费完毕后,才会继续拉取下一条消息.

TTL

TTL 全称 Time To Live（存活时间/过期时间）。
当消息到达存活时间后，还没有被消费，会被自动清除。
RabbitMQ可以对消息设置过期时间，也可以对整个队列（Queue）设置过期时间。

配置

设置队列过期时间直接调用ttl()方法传入毫秒值 时间到后整个队列的消息统一过期

    //声明ttl(过期时间)队列
    @Bean
    public Queue springTTLQueue4() {
        return QueueBuilder.durable("springTTLQueue4").ttl(1000 * 60).build();
    }

设置消息过期时间使用参数：expiration。单位：ms(毫秒)，当该消息在队列头部时（消费时），会单独判断这一消息是否过期。

    /**
     * 发送过期消息
     */
    @Test
    void testSendTTLMessage() {
        MessagePostProcessor messagePostProcessor = new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                //设置消息5秒过期
                message.getMessageProperties().setExpiration("5000");
                return message;
            }
        };
        rabbitTemplate.convertAndSend("", "springTTLQueue4", "过期消息", messagePostProcessor);
    }
}

TLX 死信队列

死信队列，英文缩写：DLX 。Dead Letter Exchange（死信交换机），当消息成为Dead message后，可以被重新发送到另一个交换机，这个交换机就是DLX。
在这里插入图片描述
消息成为死信的三种情况：

队列消息长度到达限制；
消费者拒接消费消息，basicNack/basicReject,并且不把消息重新放入原目标队列,requeue=false；
原队列存在消息过期设置，消息到达超时时间未被消费；

队列绑定死信交换机：

给队列设置参数：

x-dead-letter-exchange
x-dead-letter-routing-key

代码实现

package top.zhenghy123.config;
import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
 * @author : Mac_Zheng
 * @version :1.0
 * @date : 
 * @description : 死信交换机配置类
 */
@Configuration
public class DLXConfig {
    /**
     * 声明死信队列
     *
     * @return
     */
    @Bean
    public Queue dlx_queue() {
        return QueueBuilder.durable("dlx_queue").build();
    }
    /**
     * 声明死信交换机
     *
     * @return
     */
    @Bean
    public Exchange dlx_exchange() {
        return ExchangeBuilder.topicExchange("dlx_exchange").build();
    }
    /**
     * 绑定死信队列和死信交换机
     *
     * @return
     */
    @Bean
    public Binding dlx_binding(@Qualifier("dlx_queue") Queue queue, @Qualifier("dlx_exchange") Exchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with("tlx.#").noargs();
    }
    /**
     * 声明业务队列
     *
     * @return
     */
    @Bean
    public Queue test_queue() {
        //绑定死信交换机,设置队列长度10,设置队列过期时间30秒
        return QueueBuilder.durable("test_queue").deadLetterExchange("dlx_exchange").deadLetterRoutingKey("tlx.xxx").maxLength(10).ttl(1000 * 30).build();
    }
    /**
     * 声明业务交换机
     *
     * @return
     */
    @Bean
    public Exchange test_exchange() {
        return ExchangeBuilder.topicExchange("test_exchange").build();
    }
    /**
     * 绑定业务队列和业务交换机
     *
     * @return
     */
    @Bean
    public Binding test_binding(@Qualifier("test_queue") Queue queue, @Qualifier("test_exchange") Exchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with("test.#").noargs();
    }
}

小结

死信交换机和死信队列和普通的没有区别
当消息成为死信后，如果该队列绑定了死信交换机，则消息会被死信交换机重新路由到死信队列
消息成为死信的三种情况：
1. 队列消息长度到达限制；
2. 消费者拒接消费消息，并且不重回队列；
3. 原队列存在消息过期设置，消息到达超时时间未被消费；

延迟队列

延迟队列，即消息进入队列后不会立即被消费，只有到达指定时间后，才会被消费。

需求：

下单后，30分钟未支付，取消订单，回滚库存。
新用户注册成功7天后，发送短信问候。

实现方式：

定时器(不优雅)
延迟队列

很可惜，在RabbitMQ中并未提供延迟队列功能。

但是可以使用：TTL+死信队列组合实现延迟队列的效果。
在这里插入图片描述

延迟队列小结

延迟队列指消息进入队列后，可以被延迟一定时间，再进行消费。
RabbitMQ没有提供延迟队列功能，但是可以使用： TTL + DLX 来实现延迟队列效果。

消息追踪

在使用任何消息中间件的过程中，难免会出现某条消息异常丢失的情况。对于RabbitMQ而言，可能是因为生产者或消费者与RabbitMQ断开了连接，而它们与RabbitMQ又采用了不同的确认机制；也有可能是因为交换器与队列之间不同的转发策略；甚至是交换器并没有与任何队列进行绑定，生产者又不感知或者没有采取相应的措施；另外RabbitMQ本身的集群策略也可能导致消息的丢失。这个时候就需要有一个较好的机制跟踪记录消息的投递过程，以此协助开发和运维人员进行问题的定位。
在RabbitMQ中可以使用Firehose和rabbitmq_tracing插件功能来实现消息追踪。

消息追踪-Firehose

firehose的机制是将生产者投递给rabbitmq的消息，rabbitmq投递给消费者的消息按照指定的格式发送到默认的exchange上。这个默认的exchange的名称为amq.rabbitmq.trace，它是一个topic类型的exchange。发送到这个exchange上的消息的routing key为 publish.exchangename 和 deliver.queuename。其中exchangename和queuename为实际exchange和queue的名称，分别对应生产者投递到exchange的消息，和消费者从queue上获取的消息。
注意：打开 trace 会影响消息写入功能，适当打开后请关闭。
- rabbitmqctl trace_on：开启Firehose命令
- rabbitmqctl trace_off：关闭Firehose命令

消息追踪-rabbitmq_tracing

rabbitmq_tracing和Firehose在实现上如出一辙，只不过rabbitmq_tracing的方式比Firehose多了一层GUI的包装，更容易使用和管理。
启用插件：rabbitmq-plugins enable rabbitmq_tracing
添加tracing(添加追踪会影响mq性能)

RabbitMQ 应用问题

消息可靠性保障

需求：
100%确保消息发送成功

消息可靠性保障–消息补偿

在这里插入图片描述

消息幂等性保障

幂等性指一次和多次请求某一个资源，对于资源本身应该具有同样的结果。也就是说，其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。
在MQ中指，消费多条相同的消息，得到与消费该消息一次相同的结果。

消息幂等性保障–乐观锁机制

在这里插入图片描述

新用户1

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
RabbitMQ

MQ概述MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。小结MQ，消息队列，存储消息的中间件分布式系统通信两种方式：直接远程调用和借助第三方完成间接通信发送方称为生产者，接收方称为消费者MQ 的优势和劣势优势劣势应用解耦系统可用性降低异步提速系统复杂度提高削峰填谷一致性问题MQ 的优势应用解耦(提高系统容错性和可维护性)异步提速(提升用户体验和系统吞吐量)
复制链接

扫一扫

专栏目录