消息队列-RabbitMQ：workQueues—工作队列、消息应答机制、RabbitMQ 持久化、不公平分发（能者多劳）

最新推荐文章于 2024-10-15 21:34:27 发布

小孔靠得住

最新推荐文章于 2024-10-15 21:34:27 发布

阅读量1.3k

点赞数 22

分类专栏： RabbitMQ 文章标签： rabbitmq 分布式 spring boot

本文链接：https://blog.csdn.net/kdzandlbj/article/details/136200428

版权

RabbitMQ 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

本文详细介绍了RabbitMQ中的WorkQueues工作队列概念，包括如何使用多线程处理任务，消息应答机制的重要性，以及如何实现消息的持久化和不公平分发。

摘要由CSDN通过智能技术生成

4、Work Queues

Work Queues— 工作队列 (又称任务队列) 的主要思想是避免立即执行资源密集型任务，而不得不等待它完成。我们把任务封装为消息并将其发送到队列，在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时，这些工作线程将一起处理这些任务。

轮训分发消息

在这个案例中我们会启动两个工作线程，一个消息发送线程，我们来看看他们两个工作线程是如何工作的。

在这里插入图片描述

1、抽取工具类

在这里插入图片描述

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class RabbitMqUtils {
    //得到一个连接的 channel
    public static Channel getChannel() throws Exception {
        //创建一个连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("42.192.149.23");
        factory.setUsername("admin");
        factory.setPassword("123456");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();
        return channel;
    }
}

2、启动两个工作线程来接受消息

import com.oddfar.utils.RabbitMqUtils;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;


public class Worker01 {

    //定义队列
    private static final String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {

        //利用工具类创建信道
        Channel channel = RabbitMqUtils.getChannel();

        //消息接受，实现接口函数
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String receivedMessage = new String(delivery.getBody());
            System.out.println("接收到消息:" + receivedMessage);
        };
        //消息被取消
        CancelCallback cancelCallback = (consumerTag) -> {
            System.out.println(consumerTag + "消费者取消消费接口回调逻辑");

        };

        //消费者消费
        System.out.println("C1 消费者启动等待消费.................. ");
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);

    }
}

（1）开启多线程

在这里插入图片描述

选中 Allow multiple instances：

在这里插入图片描述

（2）启动后

在这里插入图片描述

3、启动一个发送消息线程

在这里插入图片描述

public class Task01 {
    public static final String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {

        Channel channel = RabbitMqUtils.getChannel();

        Scanner scanner = new Scanner(System.in);
        while (scanner.hasNext()) {  //hasNext，有下一个，就发送
            String message = scanner.next();
            channel.basicPublish("", QUEUE_NAME, null, message.getBytes());  //生产者发送消息，理解各参数意思
            System.out.println("消息发送完成：" + message);
        }

    }
}

启动后

在这里插入图片描述

C1、C2，轮询接受到消息

在这里插入图片描述

5、消息应答

消费者完成一个任务可能需要一段时间，如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了，会发生什么情况。

**RabbitMQ 一旦向消费者传递了一条消息，便立即将该消息标记为删除。**在这种情况下，突然有个消费者挂掉了，我们将丢失正在处理的消息，以及后续发送给该消费者的消息，因为它无法接收到。

为了保证消息在发送过程中不丢失，引入消息应答机制，消息应答就是：消费者在接收到消息并且处理该消息之后，告诉 rabbitmq 它已经处理了，rabbitmq 可以把该消息删除了。

1、自动应答

消息发送后立即被认为已经传送成功，这种模式需要在高吞吐量和数据传输安全性方面做权衡，因为这种模式如果消息在接收到之前，消费者那边出现连接或者 channel 关闭，那么消息就丢失了。当然另一方面这种模式消费者那边可以传递过载的消息，没有对传递的消息数量进行限制，当然这样有可能使得消费者这边由于接收太多还来不及处理的消息，导致这些消息的积压，使得内存耗尽，最终这些消费者线程被操作系统杀死，所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。

2、手动消息应答的方法

Channel.basicAck (用于肯定确认)：RabbitMQ 已知道该消息成功被处理，可以将其丢弃了。

Channel.basicNack (用于否定确认)

Channel.basicReject (用于否定确认)：与 Channel.basicNack 相比少一个参数，不处理该消息了直接拒绝，可以将其丢弃了。

Multiple 的解释：

手动应答的好处是可以批量应答并且减少网络拥堵。

true 代表批量应答 channel 上未应答的消息

false 同上面相比只会应答 tag=8 的消息

3、消息自动重新入队

如果消费者由于某些原因失去连接 (其通道已关闭，连接已关闭或 TCP 连接丢失)，导致消息未发送 ACK 确认，RabbitMQ 将了解到消息未完全处理，并将对其重新排队。如果此时其他消费者可以处理，它将很快将其重新分发给另一个消费者。这样，即使某个消费者偶尔死亡，也可以确保不会丢失任何消息。

4、消息手动应答代码

默认消息采用的是自动应答，所以我们要想实现消息消费过程中不丢失，需要把自动应答改为手动应答。

channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);

在这里插入图片描述

（1）消息生产者

在这里插入图片描述

import com.rabbitmq.client.Channel;

import java.util.Scanner;

/**
 * 消息生产者,消息在手动应答时是不丢失的，放回队列重新消费。
 *
 * 
 */
public class Task02 {
    private static final String TASK_QUEUE_NAME = "ack_queue";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();
        //声明队列
        channel.queueDeclare(TASK_QUEUE_NAME, false, false, false, null);
        Scanner sc = new Scanner(System.in);
        System.out.println("请输入信息");
        while (sc.hasNext()) {
            String message = sc.nextLine();
            //发布消息
            channel.basicPublish("", TASK_QUEUE_NAME, null, message.getBytes("UTF-8"));
            System.out.println("生产者发出消息" + message);
        }
    }

}

（2）睡眠工具类

在这里插入图片描述

（3）消费者 01

在这里插入图片描述

(4)消费者02：把睡眠时间改成 30 秒

在这里插入图片描述

import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;


public class Work03 {
    private static final String TASK_QUEUE_NAME = "ack_queue";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();
        System.out.println("C1 等待接收消息处理时间较 短");

        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody());
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            System.out.println("接收到消息:" + message);
            /**
             * 1.消息标记 tag
             * 2.是否批量应答未应答消息
             */
            channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
        };

        CancelCallback cancelCallback = (s) -> {
            System.out.println(s + "消费者取消消费接口回调逻辑");
        };

        //采用手动应答
        boolean autoAck = false;
        channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, cancelCallback);


    }
}

启动后：

在这里插入图片描述

中途停掉消费者02

在这里插入图片描述

消息由消费者01接收

在这里插入图片描述

理解：在生产者轮询发送消息：cc和dd，给消费者01和消费者02的时候，消费者01处理的消息的时间较短，所以立马就接受到了，但是消费者02处理消息的时间较长，需要30s。如果在消费者02处理消息的时候，将消费者02关闭，那么生产者发送的消息dd，虽然消费者02 无法接收了，但是也不会中途丢失，消息dd会重新返回到队列中，然后再从队列中，发送给消费者01。这就是RabbitMQ的消息应答机制。

6、RabbitMQ 持久化（3步走）

当 RabbitMQ 服务停掉以后，消息生产者发送过来的消息不丢失要如何保障？默认情况下 RabbitMQ 退出或由于某种原因崩溃时，它忽视队列和消息，除非告知它不要这样做。确保消息不会丢失需要做两件事：我们需要将队列和消息都标记为持久化。

1、队列如何实现持久化（第1步）

之前创建的队列都是非持久化的，rabbitmq 如果重启的话，该队列就会被删除掉，如果要队列实现持久化需要在声明队列的时候把 durable 参数设置为持久化。

//让队列持久化
boolean durable = true;
//声明队列
channel.queueDeclare(TASK_QUEUE_NAME, durable, false, false, null);

（1）直接修改声明会报错

在这里插入图片描述

（2）在RabbitMQ的Web界面，手动删除队列

在这里插入图片描述

（3）将队列持久化

在这里插入图片描述

2、消息持久化（第2步）

消息实现持久化需要在消息生产者修改代码

MessageProperties.PERSISTENT_TEXT_PLAIN 添加这个属性。

在这里插入图片描述

将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘，但是这里依然存在当消息刚准备存储在磁盘的时候但是还没有存储完，消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强，但是对于我们的简单任务队列而言，这已经绰绰有余了。

7、不公平分发（能者多劳）

问题

在最开始的时候我们学习到 RabbitMQ 分发消息采用的轮训分发，但是在某种场景下这种策略并不是很好，比方说有两个消费者在处理任务，其中有个消费者 1 处理任务的速度非常快，而另外一个消费者 2 处理速度却很慢，这个时候我们还是采用轮训分发的化就会到这处理速度快的这个消费者很大一部分时间处于空闲状态，而处理慢的那个消费者一直在干活，这种分配方式在这种情况下其实就不太好，但是 RabbitMQ 并不知道这种情况它依然很公平的进行分发。

为了避免这种情况，在消费者中消费之前，我们可以设置参数 channel.basicQos(1)

需要看一下basicQos的源码，参数设置的要求

//不公平分发
int prefetchCount = 1;
channel.basicQos(prefetchCount);
//采用手动应答
boolean autoAck = false;
channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, cancelCallback);

测试效果：

生产者连续发多几条消息

在这里插入图片描述

让处理消息速度快的消费者01，多接收一点消息

在这里插入图片描述

消费者02接受的少

时间长，所以少

理解：意思就是如果这个任务我还没有处理完或者我还没有应答你，你先别分配给我，我目前只能处理一个任务，然后 rabbitmq 就会把该任务分配给没有那么忙的那个空闲消费者，当然如果所有的消费者都没有完成手上任务，队列还在不停的添加新任务，队列有可能就会遇到队列被撑满的情况，这个时候就只能添加新的 worker 或者改变其他存储任务的策略。

消息队列-RabbitMQ：workQueues—工作队列、消息应答机制、RabbitMQ 持久化、不公平分发（能者多劳）到此完结，笔者归纳、创作不易，大佬们给个3连再起飞吧