MQ的相关概念
RabbitMQ官网地址:https://www.rabbitmq.com
RabbitMQ API地址:https://rabbitmq.github.io/rabbitmq-java-client/api/current/
什么是MQ?
MQ(message queue)本质是个队列,FIFO先入先出,只不过队列中存放的内容是message 而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖 MQ,不用依赖其他服务。
为什么要用MQ?
1.流量消峰。
举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。
2.应用解耦
以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。
3.异步处理
有些服务间调用是异步的,例如A调用B,B需要花费很长时间执行,但是A需要知道B什么时候可以执行完,以前一般有两种方式,A过一段时间去调用B的查询api查询。或者A提供一个callback api,
B 执行完之后调用api通知A服务。这两种方式都不是很优雅,使用消息总线,可以很方便解决这个问题,A调用B服务后,只需要监听B处理完成的消息,当B处理完成后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务既不用循环调用B的查询api,也不用提供callback api。同样B服务也不用做这些操作。A服务还能及时的得到异步处理成功的消息。
RabbitMQ
2007 年发布,是一个在 AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。
生产者
产生数据发送消息的程序是生产者。
交换机
交换机是RabbitMQ非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推送到多个队列,亦或者是把消息丢弃,这个得有交换机类型决定。
队列
队列是RabbitMQ内部使用的一种数据结构,尽管消息流经RabbitMQ和应用程序,但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式
消费者
消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费
者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又可以是消费者。
RabbitMQ的下载、安装
参见CSDN
Linux操作系统下安装消息中间件RabbitMQ:https://editor.csdn.net/md/?articleId=136034974
案例
在idea开发工具中创建一个project,在该project中创建module。
引入依赖:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.company</groupId>
<artifactId>rabbitmq_00000</artifactId>
<version>1.0-SNAPSHOT</version>
<name>rabbitmq_00000</name>
<dependencies>
<!--RabbitMQ依赖客户端-->
<dependency>
<groupId>com.rabbitmq</groupId>
<artifactId>amqp-client</artifactId>
<version>5.20.0</version>
</dependency>
<!--操作文件流的一个依赖-->
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.15.1</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>3.0.0</version>
<configuration>
<skipTests>true</skipTests>
</configuration>
</plugin>
</plugins>
</build>
</project>
工具类
package com.company.rabbitmq.utils;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class RabbitMQUtils {
public static Channel getChannel() {
ConnectionFactory connectionFactory = new ConnectionFactory();
connectionFactory.setHost("192.168.6.128");
connectionFactory.setUsername("admin");
connectionFactory.setPassword("123");
Channel channel = null;
try {
Connection connection = connectionFactory.newConnection();
channel = connection.createChannel();
} catch (IOException | TimeoutException e) {
e.printStackTrace();
}
return channel;
}
}
生产者
package com.company.rabbitmq.one;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.Channel;
import java.io.IOException;
public class Producer {
private final static String QUEUE_NAME = "hello";
public static void main(String[] args){
Channel channel = RabbitMQUtils.getChannel();
/*
生成一个队列
1.队列名称。
2.队列里面的消息是否持久化。默认消息存储在内存中。
3.该队列是否只供一个消费者进行消费。是否进行共享:true:可以多个消费者消费。
4.是否自动删除。最后一个消费者断开连接以后,该队列是否自动删除。true:自动删除。
5.其他参数。
Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments) throws IOException;
*/
try {
channel.queueDeclare(QUEUE_NAME,false,false,false,null);
String message="hello world";
/*
发送一个消息。
1.发送到哪个交换机。
2.路由的key是哪个。
3.其他的参数信息。
4.发送消息的消息体。
void basicPublish(String exchange, String routingKey, BasicProperties props, byte[] body) throws IOException;
*/
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println("消息发送成功!");
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
消费者
package com.company.rabbitmq.one;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.*;
import java.io.IOException;
public class Consumer {
private final static String QUEUE_NAME = "hello";
public static void main(String[] args){
Channel channel = RabbitMQUtils.getChannel();
System.out.println("等待接收消息......");
//推送的消息如何进行消费的接口回调。
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message= new String(delivery.getBody());
System.out.println(message);
};
//取消消费的一个回调接口。如在消费的时候队列被删除掉了。
CancelCallback cancelCallback = consumerTag -> {
System.out.println(" 消息消费被中断。");
};
/*
消费者消费消息
1.消费哪个队列。
2.消费成功之后是否要自动应答。true:代表自动应答 false:代表手动应答。
3.消费者未成功消费的回调。
String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallback cancelCallback) throws IOException;
*/
try {
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
Work Queues
工作队列(又称任务队列)的主要思想是避免立即执行资源密集型任务,而不得不等待它完成。相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时,这些工作线程将一起处理这些任务。
轮训分发消息
生产者:消息发送者。
package com.company.rabbitmq.two;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.util.Scanner;
import com.company.rabbitmq.utils.RabbitMQUtils;
public class Task01 {
private static final String QUEUE_NAME = "hello";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
try {
//Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments) throws IOException;
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
//从控制台当中接收信息。
Scanner scanner = new Scanner(System.in);
while(scanner.hasNext()){
String message = scanner.next();
//void basicPublish(String exchange, String routingKey, BasicProperties props, byte[] body) throws IOException;
channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
System.out.println("发送消息完成:" + message);
}
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
消费者:消息接收者。
package com.company.rabbitmq.two;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import com.company.rabbitmq.utils.RabbitMQUtils;
public class Worker01 {
//队列名称。
public static final String QUEUE_NAME = "hello";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
//消息的接收
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("接收到的消息:" + new String(message.getBody()));
};
//消息接收被取消时,执行下面的内容。
CancelCallback cancelCallback = consumerTag -> {
System.out.println(consumerTag + "消息者取消消费接口回调逻辑");
};
try {
System.out.println("C1等待接收消息......");
//String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallback cancelCallback) throws IOException;
channel.basicConsume(QUEUE_NAME,true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
结果:
通过程序执行发现生产者总共发送4个消息,消费者1和消费者2分别分得两个消息,并且是按照有序的一个接收一次消息。
消息应答
消费者完成一个任务可能需要一段时间,如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了,会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息,便立即将该消息标记为删除。在这种情况下,突然有个消费者挂掉了,我们将丢失正在处理的消息。以及后续发送给该消费者的消息,因为它无法接收到。为了保证消息在发送过程中不丢失,RabbitMQ引入了消息应答机制,消息应答就是: 消费者在接收到消息并且处理该消息之后,告诉RabbitMQ它已经处理了,RabbitMQ可以把该消息删除了。
自动应答
消息发送后立即被认为已经传送成功,这种模式需要在高吞吐量和数据传输安全性方面做权衡,因为这种模式如果消息在接收到之前,消费者那边出现连接或者channel关闭,那么消息就丢失了,当然另一方面这种模式消费者那边可以传递过载的消息, 没有对传递的消息数量进行限制,当然这样有可能使得消费者这边由于接收太多还来不及处理的消息,导致这些消息的积压,最终使得内存耗尽,最终这些消费者线程被操作系统杀死, 所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。
消息应答的方法
- Channel.basicAck (用于肯定确认。)
RabbitMQ已知道该消息并且成功的处理消息,可以将其丢弃了。 - Channel.basicNack(用于否定确认。)
- Channel.basicReject(用于否定确认。)
与Channel.basicNack相比少一个参数,不处理该消息了直接拒绝,可以将其丢弃了。
multiple的true和false代表不同意思:
true:代表批量应答channel上未应答的消息。
消息自动重新入队
如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或TCP连接丢失),导致消息未发送ACK确认,RabbitMQ将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确保不会丢失任何消息。
package com.company.rabbitmq.utils;
public class SleepUtils {
public static void sleep(int second){
try {
Thread.sleep(1000*second);
} catch (InterruptedException _ignored) {
Thread.currentThread().interrupt();
}
}
}
package com.company.rabbitmq.three;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Scanner;
import com.company.rabbitmq.utils.RabbitMQUtils;
/*
消息在手动应答时是不丢失的,放回队列中重新消费。
*/
public class Task2 {
//队列名称
private static final String TASK_QUEUE_NAME = "ack_queue";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
//声明队列
try {
channel.queueDeclare(TASK_QUEUE_NAME,false,false,false,null);
//从控制台中输入信息。
Scanner scanner = new Scanner(System.in);
while(scanner.hasNext()){
String message = scanner.next();
channel.basicPublish("", TASK_QUEUE_NAME, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出消息:" + message);
}
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.three;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.company.rabbitmq.utils.SleepUtils;
/*
消息在手动应答时是不丢失的,放回队列中重新消费。
*/
public class Work03{
//队列名称
private static final String TASK_QUEUE_NAME = "ack_queue";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
System.out.println("C1等待接收消息处理时间较短。");
DeliverCallback deliverCallback = (consumerTag, message) -> {
//沉睡1秒
SleepUtils.sleep(1);
System.out.println("接收到的消息:" + new String(message.getBody(), "UTF-8"));
//采用手动应答
/*
1、消息的标记:tag
2、是否批量应答。false:不批量应答信道中的消息。true:批量应答。
*/
//void basicAck(long deliveryTag, boolean multiple) throws IOException;
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
//void handle(String consumerTag) throws IOException;
/*CancelCallback cancelCallback = consumerTag -> {
System.out.println(consumerTag + "消费者取消消费接口回调逻辑。");
};*/
try {
//String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallback cancelCallback) throws IOException;
channel.basicConsume(TASK_QUEUE_NAME, false, deliverCallback,(consumerTag -> {
System.out.println(consumerTag + "消费者取消消费接口回调逻辑。");
}));
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.three;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.company.rabbitmq.utils.SleepUtils;
/*
消息在手动应答时是不丢失的,放回队列中重新消费。
*/
public class Work04 {
//队列名称
private static final String TASK_QUEUE_NAME = "ack_queue";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
System.out.println("C2等待接收消息处理时间较长。");
DeliverCallback deliverCallback = (consumerTag, message) -> {
//沉睡30秒。
SleepUtils.sleep(30);
System.out.println("接收到的消息:" + new String(message.getBody(), StandardCharsets.UTF_8));
//采用手动应答
/*
1、消息的标记:tag。
2、是否批量应答。false:不批量应答信道中的消息。true:批量应答。
*/
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
try {
channel.basicConsume(TASK_QUEUE_NAME, false, deliverCallback, (consumerTag ->
System.out.println(consumerTag + "消费者取消消费接口回调逻辑。")
));
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
正常情况下消息发送方发送两个消息C1和C2,分别接收到消息并进行处理。
在发送者发送消息dd,发出消息之后把C2消费者停掉,按理说该C2来处理该消息,但是由于它处理时间较长,在还未处理完,也就是说 C2还没有执行ack代码的时候,C2被停掉了,此时会看到消息被C1接收到了,说明消息dd被重新入队,然后分配给能处理消息的C1处理了。
RabbitMQ 持久化
概念
如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失?
默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事: 将队列和消息都标记为持久化。
队列如何实现持久化?
之前创建的队列都是非持久化的,RabbitMQ 如果重启的化,该队列就会被删除掉,如果要队列实现持久化,需要在声明队列时把 durable 参数设置为持久化。
/*
Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments) throws IOException;
第二个参数boolean durable 是否将队列设置为持久化。
true:将队列设置为持久化。
false:不将队列设置为持久化。
*/
channel.queueDeclare(TASK_QUEUE_NAME, true, false, false, null);
需要注意的是如果之前声明的队列不是持久化的,需要把原先队列先删除,或者重新创建一个持久化的队列,不然启动时控制台报错。
以下为持久化与非持久化队列的 UI 显示区。
这个时候即使重启,RabbitMQ 队列也依然存在。
消息实现持久化
要想让消息实现持久化需要在消息生产者修改代码。添加MessageProperties.PERSISTENT_TEXT_PLAIN 这个属性。
/*
void basicPublish(String exchange, String routingKey, BasicProperties props, byte[] body) throws IOException;
第三个参数:BasicProperties props
MessageProperties.PERSISTENT_TEXT_PLAIN可以设置消息持久化。
*/
channel.basicPublish("", TASK_QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN, message.getBytes(StandardCharsets.UTF_8));
将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘,但是这里依然存在当消息刚准备存储在磁盘的时候还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强。
不公平分发
之前RabbitMQ分发消息采用的时轮询分发,但是在某些场景下这种分发策略并不好。比如:有两个消费者在处理任务,其中有个消费者1处理任务的速度非常快,而另外一个消费者2处理的速度非常慢,这时如果采用轮询分发策略的话就会导致处理速度快的消费者很大一部分时间处于空闲状态,而处理慢的那个消费者一直在干活。但是RabbitMQ并不知道这种情况。它依然很公平的进行消息分发。
为了避免这种情况,可以设置参数channer.basicQos(1);从而采用不公平分发策略。
try {
/*
void basicQos(int prefetchCount) throws IOException;
如果不设置,则默认0,表示采用的是轮询分发策略。
设置为1:表示采用的是不公平分发策略。
*/
channel.basicQos(1);
} catch (IOException ioException) {
ioException.printStackTrace();
}
意思就是如果这个任务还没有处理完或者还没有应答你,先别分配给我,我目前只能处理一个任务,然后RabbitMQ就会把该任务分配给没有那么忙的那个空闲消费者,当然如果所有的消费者都没有完成手上任务,队列还在不停的添加新任务,队列有可能会遇到队列被撑满的情况,这个时候就只能添加新的 worker 或者改变其他存储任务的策略。
预取值
本身消息的发送就是异步发送的,所以在任何时候,channel上肯定不止只有一个消息另外来自消费者的手动确认本质上也是异步的。因此这里就存在一个未确认的消息缓冲区,因此希望开发人员能限制此缓冲区的大小,以避免缓冲区里面无限制的未确认消息问题。这个时候就可以通过使用basic.qos方法设置“预取计数”值来完成的。该值定义通道上允许的未确认消息的最大数量。一旦数量达到配置的数量,
RabbitMQ将停止在通道上传递更多消息,除非至少有一个未处理的消息被确认,例如,假设在通道上有未确认的消息 5、6、7,8,并且通道的预取计数设置为4,此时RabbitMQ将不会在该通道上再传递任何消息,除非至少有一个未应答的消息被ack。比方说tag=6这个消息刚刚被确认ACK,RabbitMQ将会感知这个情况到并再发送一条消息。消息应答和QoS预取值对用户吞吐量有重大影响。通常,增加预取将提高
向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的,但是,在这种情况下已传递但尚未处理的消息的数量也会增加,从而增加了消费者的RAM消耗(随机存取存储器)应该小心使用具有无限预处理的自动确认模式或手动确认模式,消费者消费了大量的消息如果没有确认的话,会导致消费者连接节点的内存消耗变大,所以找到合适的预取值是一个反复试验的过程,不同的负载该值取值也不同100到300范
围内的值通常可提供最佳的吞吐量,并且不会给消费者带来太大的风险。预取值为1是最保守的。当然这将使吞吐量变得很低,特别是消费者连接延迟很严重的情况下,特别是在消费者连接等待时间较长的环境中。对于大多数应用来说,稍微高一点的值将是最佳的。
发布确认
发布确认原理
生产者将信道设置成confirm模式,一旦信道进入confirm模式,所有在该信道上面发布的消息都将会被指派一个唯一的ID(从1开始),一旦消息被投递到所有匹配的队列之后,broker就会发送一个确认给生产者(包含消息的唯一ID),这就使得生产者知道消息已经正确到达目的队列了,如果消息和队列是可持久化的,那么确认消息会在将消息写入磁盘之后发出,broker回传给生产者的确认消息中delivery-tag域包含了确认消息的序列号,此外broker也可以设置basic.ack的multiple域,表示到这个序列号之前的所有消息都已经得到了处理。confirm模式最大的好处在于它是异步的,一旦发布一条消息,生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息,当消息最终得到确认之后,生产者应用便可以通过回调方法来处理该确认消息,如果RabbitMQ因为自身内部错误导致消息丢失,就会发送一条nack消息,生产者应用程序同样可以在回调方法中处理该nack消息。
发布确认的策略
开启发布确认的方法
发布确认默认是没有开启的,如果要开启需要调用confirmSelect方法,每当要使用发布确认时,都需要在channel上调用该方法。
//开启发布确认。
//Confirm.SelectOk confirmSelect() throws IOException;
channel.confirmSelect();
//单个确认发布
public static void publishMessageIndividually(){
Channel channel = RabbitMQUtils.getChannel();
String queueName = UUID.randomUUID().toString();
try {
channel.queueDeclare(queueName, true, false, false, null);
//开启发布确认。
channel.confirmSelect();
//开始时间。
long begin = System.currentTimeMillis();
//批量发部消息。
for(int i=0; i<MESSAGE_COUNT; i++){
String message = i + "";
channel.basicPublish("", queueName, null, message.getBytes());
//单个消息就马上进行发布确认。
try {
boolean flag = channel.waitForConfirms();
if(flag){
System.out.println("消息发送成功。");
}
} catch (InterruptedException e) {
e.printStackTrace();
}
}
//结束时间。
long end = System.currentTimeMillis();
System.out.println("发布" + MESSAGE_COUNT + "条单个确认消息,耗时" + (end - begin) + "ms");
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
单个确认发布
这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布,后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。
这种确认方式有一个最大的缺点就是: 发布速度特别的慢,因为如果没有确认发布的消息就会阻塞所有后续消息的发布,这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。
批量确认发布
单个确认发布方式非常慢。与单个等待确认消息相比,先发布一批消息然后一起确认可以极大地提高吞吐量,当然这种方式的缺点就是当发生故障导致发布出现问题时,不知道是哪个消息出现问题了,我们必须将整个批处理保存在内存中,以记录重要的信息而后重新发布消息。这种方案仍然是同步的,也一样阻塞消息的发布。
//批量发布确认。
public static void publishMessageBatch() {
Channel channel = RabbitMQUtils.getChannel();
String queueName = UUID.randomUUID().toString();
try {
channel.queueDeclare(queueName, true, false, false, null);
//开启发布确认。
channel.confirmSelect();
// 批量确认消息大小
int batchSize = 100;
// 未确认消息个数
int outstandingMessageCount = 0;
//开始时间。
long begin = System.currentTimeMillis();
//批量发消息。
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("", queueName, null, message.getBytes());
outstandingMessageCount++;
if (outstandingMessageCount == batchSize) {
try {
channel.waitForConfirms();
} catch (InterruptedException e) {
e.printStackTrace();
}
outstandingMessageCount = 0;
}
//发布确认。
/*try {
boolean flag = channel.waitForConfirms();
if(flag){
System.out.println("消息发送成功。");
}
} catch (InterruptedException e) {
e.printStackTrace();
}*/
//判断达到1000条消息的时候,批量确认一次。
if (i % batchSize == 0) {
try {
//发布确认
channel.waitForConfirms();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
//结束时间。
long end = System.currentTimeMillis();
System.out.println("发布" + MESSAGE_COUNT + "条批量确认消息,耗时" + (end - begin) + "ms");
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
异步确认发布
异步确认发布性价比高,可靠性高、效率高。它是利用回调函数来达到消息可靠性传递的。这个中间件也是通过函数回调来保证是否投递成功。
//异步发布确认。
public static void publishMessageAsync() {
Channel channel = RabbitMQUtils.getChannel();
String queueName = UUID.randomUUID().toString();
try {
channel.queueDeclare(queueName, true, false, false, null);
//开启发布确认。
channel.confirmSelect();
/*
线程安全有序的一个哈希表,适用于高并发的情况下。
1、将序号与消息进行关联。
2、可以批量删除条目,只要给到序号。
3、支持高并发(多线程)。
*/
ConcurrentSkipListMap<Long, String> concurrentSkipListMap = new ConcurrentSkipListMap<>();
//消息确认成功的回调方法。
ConfirmCallback confirmCallback = (deliveryTag, multiple) -> {
//返回的是小于等于当前序列号的未确认消息 是一个 map。
if(multiple) {
//2、删除到已经确认的消息,剩下的就是未确认的消息。
ConcurrentNavigableMap<Long, String> concurrentNavigableMap = concurrentSkipListMap.headMap(deliveryTag);
//清除该部分未确认消息。
concurrentNavigableMap.clear();
}else{
//只清除当前序列号的消息。
concurrentSkipListMap.remove(deliveryTag);
}
System.out.println("确认的消息:" + deliveryTag);
};
//消息确认失败的回调方法。
/*
1、消息的标记。
2、是否未批量确认。
*/
ConfirmCallback nackCallback = (deliveryTag, multiple) -> {
//3、打印未确认的消息有哪些。
String message = concurrentSkipListMap.get(deliveryTag);
System.out.println("未确认的消息:" + message + "未确认的消息tag:" + deliveryTag);
};
/*准备消息的监听器,监听哪些消息成功了,哪些消息失败了。
1、监听哪些消息成功了。
2、监听哪些消息失败了。
*/
channel.addConfirmListener(confirmCallback, nackCallback);
//开始时间。
long begin = System.currentTimeMillis();
//批量发送消息
for(int i=0; i<MESSAGE_COUNT; i++){
String message = "消息" + i;
//1、此处记录下所有要发送的消息,消息的总和。
concurrentSkipListMap.put(channel.getNextPublishSeqNo(), message);
channel.basicPublish("", queueName, null, message.getBytes());
}
//结束时间。
long end = System.currentTimeMillis();
System.out.println("发布" + MESSAGE_COUNT + "条异步发布确认消息,耗时" + (end - begin) + "ms");
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
如何处理异步未确认消息
最好的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列,比如说用ConcurrentLinkedQueue这个队列在 confirm callbacks与发布线程之间进行消息的传递。
三种发布确认速度对比
单独发布消息:同步等待确认,简单,但吞吐量非常有限。
批量发布消息:批量同步等待确认,简单,合理的吞吐量,一旦出现问题很难推断出是哪条消息出现了问题。
异步处理:最佳性能和资源使用,在出现错误的情况下可以很好地控制。
public static void main(String[] args) throws Exception {
publishMessagesIndividually();
publishMessagesInBatch();
handlePublishConfirmsAsynchronously();
}
//运行结果
发布1,000个单独确认消息耗时50,278 ms
发布1,000个批量确认消息耗时635 ms
发布1,000个异步确认消息耗时92 ms
交换机
在上一节中,我们创建了一个工作队列。我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情,我们将消息传达给多个消费者。这种模式称为 ”发布/订阅”。为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,另外一个消费者接收到消息后把消息打印在屏幕上,事实上第一个程序发出的日志消息将广播给所有消费者。
Exchanges
Exchanges 概念
RabbitMQ 消息传递模型的核心思想是:生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递到了哪些队列中。相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们放到许多队列中还是说应该丢弃它们。这就得由交换机的类型来决定。
Exchanges 的类型
总共有以下类型:直接(direct), 主题(topic) ,标题(headers) , 扇出(fanout)。
无名 exchange
在前面部分我们对 exchange 一无所知,但仍然能够将消息发送到队列。之前能实现的原因是因为使用的是默认交换,通过空字符串(“”)进行标识。
channel.basicPublish(“”, “hello”, null, message.getBytes());
第一个参数是交换机的名称。空字符串表示默认或无名称交换机:消息能路由发送到队列中其实是由 routingKey(bindingkey)绑定 key 指定的,如果它存在的话。
临时队列
之前的章节使用的是具有特定名称的队列(还记得 hello 和 ack_queue 吗?)。队列的名称至关重要。需要指定我们的消费者去消费哪个队列的消息。每当我们连接到 RabbitMQ 时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。
创建临时队列的方式如下:
String queueName = channel.queueDeclare().getQueue();
创建出来之后长成这样:
绑定(bindings)
什么是 bingding 呢?binding 其实是 exchange 和 queue 之间的桥梁,它告诉我们 exchange 和哪个队列进行了绑定关系。
Fanout
Fanout 介绍
Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的所有队列中。系统中默认有些 exchange 类型。
Direct exchange
在上一节中,我们构建了一个简单的日志记录系统。我们能够向许多接收者广播日志消息。在本节我们将向其中添加一些特别的功能,比方说我们只让某个消费者订阅发布的部分消息。例如我们只把严重错误消息定向存储到日志文件(以节省磁盘空间),同时仍然能够在控制台上打印所有日志消息。
我们再次来回顾一下什么是 bindings,绑定是交换机和队列之间的桥梁关系。也可以这么理解:队列只对它绑定的交换机的消息感兴趣。绑定用参数:routingKey 来表示也可称该参数为 binding key,创建绑定我们用代码:channel.queueBind(queueName, EXCHANGE_NAME, “routingKey”);绑定之后的意义由其交换类型决定。
Direct exchange 介绍
上一节中的我们的日志系统将所有消息广播给所有消费者,对此我们想做一些改变,例如我们希望将日志消息写入磁盘的程序仅接收严重错误(errros),而不存储哪些警告(warning)或信息(info)日志消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性-它只能进行无意识的广播,在这里我们将使用 direct 这种类型来进行替换,这种类型的工作方式是,消息只去到它绑定的routingKey 队列中去。
在上面这张图中,我们可以看到 X 绑定了两个队列,绑定类型是 direct。队列 Q1 绑定键为 orange,队列 Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green。在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列Q1。绑定键为 blackgreen 的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃。
多重绑定
当然如果 exchange 的绑定类型是 direct,但是它绑定的多个队列的 key 如果都相同,在这种情况下虽然绑定类型是 direct,但是它表现的就和 fanout 有点类似了,就跟广播差不多。
例子
package com.company.rabbitmq.six;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
public class ReceiveLogsDirect01 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[]rgs){
Channel channel = RabbitMQUtils.getChannel();
try {
String queueName = "disk";
//声明一个队列。
channel.queueDeclare(queueName, false, false, false, null);
//声明一个交换机。
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
channel.queueBind(queueName, EXCHANGE_NAME, "error");
System.out.println("等待接收消息......");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
message=" 接收绑定键:"+delivery.getEnvelope().getRoutingKey()+", 消息:"+message;
System.out.println(" 错误日志已经接收");
};
CancelCallback cancelCallback = consumerTag -> {
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.six;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
public class ReceiveLogsDirect02 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] argv) {
Channel channel = RabbitMQUtils.getChannel();
try {
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
String queueName = "console";
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "info");
channel.queueBind(queueName, EXCHANGE_NAME, "warning");
System.out.println(" 等待接收消息.....");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
System.out.println("接收绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message);
};
CancelCallback cancelCallback = consumerTag -> {
};
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.six;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
public class EmitLogDirect {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] av) {
Channel channel = RabbitMQUtils.getChannel();
try {
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//创建多个bindingKey。
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("info", " 普通 info 信息");
bindingKeyMap.put("warning", " 警告 warning 信息");
bindingKeyMap.put("error", " 错误 error 信息");
//debug 没有消费这接收这个消息 所有就丢失了
bindingKeyMap.put("debug", " 调试 debug 信息");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String bindingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println(" 生产者发出消息:" + message);
}
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
Topics
之前类型的问题
在上一个小节中,我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是使用了 direct 交换机,从而有能实现有选择性地接收日志。
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性。比方说我们想接收的日志类型有info.base 和 info.advantage,某个队列只想 info.base 的消息,那这个时候 direct 就办不到了。这个时候就只能使用 topic 类型。
topic的要求
发送到类型是topic交换机的消息的routing_key不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“stock.usd.nyse”, “nyse.vmw”,“quick.orange.rabbit”。这个单词列表最多不能超过255个字节。
替换符
*(星号):可以代替一个单词。
#(井号):可以替代零个或多个单词。
Topic匹配案例
下图绑定关系如下:
Q1->绑定的是中间带orange的3个单词的字符串(*.orange.*)
Q2->绑定的是最后一个单词是rabbit的3个单词(*.*.rabbit)和第一个单词是lazy的多个单词(lazy.#)
上图是一个队列绑定关系图,他们之间数据接收情况是怎么样的?
quick.orange.rabbit 被队列Q1、Q2接收到。
lazy.orange.elephant 被队列Q1、Q2接收到。
quick.orange.fox 被队列Q1接收到。
lazy.brown.fox 被队列Q2接收到。
lazy.pink.rabbit 虽然满足两个绑定但只被队列Q2接收一次。
quick.brown.fox 不匹配任何绑定不会被任何队列接收到,会被丢弃。
quick.orange.male.rabbit 是四个单词不匹配任何绑定,会被丢弃。
lazy.orange.male.rabbit 是四个单词但匹配Q2。
当一个队列绑定键是#,那么这个队列将接收所有数据,就有点像fanout了。
如果队列绑定键当中没有#和*出现,那么该队列绑定类型就是direct了。
实战
package com.company.rabbitmq.seven;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
/*
声明主题交换机及相关队列。
消费者C1。
*/
public class ReceiveLogsTopic01 {
//交换机的名称。
private final static String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
//声明队列。
String queueName = "Q1";
try {
//声明交换机。
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*");
System.out.println("等待接收消息......");
/*
void handle(String consumerTag, Delivery message) throws IOException;
*/
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println(new String(message.getBody(), StandardCharsets.UTF_8));
System.out.println("接搜队列:" + queueName + "绑定键:" + message.getEnvelope().getRoutingKey());
};
/*
void handle(String consumerTag) throws IOException;
*/
CancelCallback cancelCallback = consumerTag -> {
};
/*
String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallback cancelCallback) throws IOException;
*/
//接收消息。
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.seven;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
/*
声明主题交换机及相关队列。
消费者C2。
*/
public class ReceiveLogsTopic02 {
//交换机的名称。
private final static String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
//声明队列。
String queueName = "Q2";
try {
//声明交换机。
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit");
channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#");
System.out.println("等待接收消息......");
/*
void handle(String consumerTag, Delivery message) throws IOException;
*/
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println(new String(message.getBody(), StandardCharsets.UTF_8));
System.out.println("接搜队列:" + queueName + "绑定键:" + message.getEnvelope().getRoutingKey());
};
/*
void handle(String consumerTag) throws IOException;
*/
CancelCallback cancelCallback = consumerTag -> {
};
/*
String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallback cancelCallback) throws IOException;
*/
//接收消息。
channel.basicConsume(queueName, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.seven;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
/*
生产者。
*/
public class EmitLogTopic {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
try {
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
/*
Q1->绑定的是中间带orange带3个单词的字符串(*.orange.*)。
Q2->绑定的是最后一个单词是rabbit的3个单词(*.*.rabbit)或第一个单词是lazy的多个单词 (lazy.#)。
*/
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("quick.orange.rabbit", "被队列Q1、Q2接收到。");
bindingKeyMap.put("lazy.orange.elephant", "被队列Q1、Q2接收到。");
bindingKeyMap.put("quick.orange.fox", "被队列Q1接收到。");
bindingKeyMap.put("lazy.brown.fox", "被队列Q2接收到。");
bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列Q2接收一次。");
bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃。");
bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃。");
bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配Q2。");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()){
String bindingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println(" 生产者发出消息" + message);
}
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
死信队列
死信的概念
先从概念解释上搞清楚这个定义,死信,顾名思义就是无法被消费的消息,字面意思可以这样理解,一般来说,producer将消息投递到 broker或者直接到queue里了,consumer从queue取出消息进行消费,但某些时候由于特定的原因导致queue中的某些消息无法被消费,这样的消息如果没有后续的处理,就变成了死信,有死信自然就有了死信队列。
应用场景:为了保证订单业务的消息数据不丢失,需要使用到RabbitMQ的死信队列机制,当消息消费发生异常时,将消息投入死信队列中。还有比如说:用户在商城下单成功并点击去支付后在指定时间未支付时自动失效。
死信的来源
消息TTL过期。
队列达到最大长度(队列满了,无法再添加数据到RabbitMQ中)。
消息被拒绝(basic.reject 或 basic.nack)并且requeue=false。
死信实战
代码架构图
消息TTL过期
package com.company.rabbitmq.eight;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
/*
死信队列之生产者。
*/
public class Producer {
private static final String NORMAL_EXCHANGE = "normal_exchange";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
try {
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
//设置消息的TTL时间。单位:ms。
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().expiration("10000").build();
// 该信息是用作演示队列个数限制。
for (int i = 1; i < 11; i++) {
String message = "info" + i;
channel.basicPublish(NORMAL_EXCHANGE, "zhangsan", properties, message.getBytes());
System.out.println(" 生产者发送消息:" + message);
}
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.eight;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
/*
死信队列。
消费者。
*/
public class Consumer01 {
//普通交换机名称。
private static final String NORMAL_EXCHANGE = "normal_exchange";
//死信交换机名称
private static final String DEAD_EXCHANGE = "dead_exchange";
//普通队列名称。
private static final String NORMAL_DEAD = "normal_dead";
//死信队列名称。
private static final String DEAD_QUEUE = "dead_queue";
public static void main(String[] args){
Channel channel = RabbitMQUtils.getChannel();
// 声明死信和普通交换机 类型为 direct
try {
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
//死信队列绑定死信交换机与 routingkey
channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "lisi");
//正常队列绑定死信队列信息
Map<String, Object> params = new HashMap<>();
//过期时间。
//params.put("x-message-ttl", 100000);
//正常队列设置死信交换机。参数key是固定值。
params.put("x-dead-letter-exchange", DEAD_EXCHANGE);
//正常队列设置死信routing-key,参数key是固定值。
params.put("x-dead-letter-routing-key", "lisi");
//绑定普通的交换机与普通的队列。
channel.queueBind(NORMAL_DEAD, NORMAL_EXCHANGE, "zhangsan");
//绑定死信的交换机与死信的队列。
channel.queueBind(DEAD_QUEUE, NORMAL_EXCHANGE, "lisi");
channel.queueDeclare(NORMAL_DEAD, false, false, false, params);
System.out.println(" 等待接收消息......");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
System.out.println("Consumer01接收到消息:" + message);
};
CancelCallback cancelCallback = consumerTag -> {
};
channel.basicConsume(NORMAL_DEAD, true, deliverCallback, cancelCallback);
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
package com.company.rabbitmq.eight;
import com.company.rabbitmq.utils.RabbitMQUtils;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
public class Consumer02 {
private static final String DEAD_EXCHANGE = "dead_exchange";
public static void main(String[] args) {
Channel channel = RabbitMQUtils.getChannel();
try {
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
String deadQueue = "dead-queue";
channel.queueDeclare(deadQueue, false, false, false, null);
channel.queueBind(deadQueue, DEAD_EXCHANGE, "lisi");
System.out.println(" 等待接收死信队列消息.....");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
System.out.println("Consumer02 接收死信队列的消息" + message);
};
channel.basicConsume(deadQueue, true, deliverCallback, consumerTag -> {
});
} catch (IOException ioException) {
ioException.printStackTrace();
}
}
}
消费者C2 代码(以上步骤完成后,启动C2消费者,它消费死信队列里面的消息)。
队列达到最大长度
消息生产者代码去掉TTL属性。
public class Producer {
private static final String NORMAL_EXCHANGE = "normal_exchange";
public static void main(String[] argv) throws Exception {
try (Channel channel = RabbitMqUtils.getChannel()) {
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
// 该信息是用作演示队列个数限制
for (int i = 1; i <11 ; i++) {
String message="info"+i;
channel.basicPublish(NORMAL_EXCHANGE,"zhangsan",null, message.getBytes());
System.out.println(" 生产者发送消息:"+message);
}
}
}
}
C1 消费者修改以下代码 ( 启动之后关闭该消费者 模拟其接收不到消息)
注意此时需要把原先队列删除 因为参数改变了
C2 消费者代码不变( 启动 C2 消费者)
消息被拒
1.消息生产者代码同上生产者一致
2.C1 消费者代码( 启动之后关闭该消费者 模拟其接收不到消息)
public class Consumer01 {
// 普通交换机名称
private static final String NORMAL_EXCHANGE = "normal_exchange";
// 死信交换机名称
private static final String DEAD_EXCHANGE = "dead_exchange";
public static void main(String[] argv) throws Exception {
Channel channel = RabbitUtils.getChannel();
// 声明死信和普通交换机 类型为 direct
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
// 声明死信队列
String deadQueue = "dead-queue";
channel.queueDeclare(deadQueue, false, false, false, null);
// 死信队列绑定死信交换机与 routingkey
channel.queueBind(deadQueue, DEAD_EXCHANGE, "lisi");
// 正常队列绑定死信队列信息
Map<String, Object> params = new HashMap<>();
// 正常队列设置死信交换机 参数 key 是固定值
params.put("x-dead-letter-exchange", DEAD_EXCHANGE);
// 正常队列设置死信 routing-key 参数 key 是固定值
params.put("x-dead-letter-routing-key", "lisi");
String normalQueue = "normal-queue";
channel.queueDeclare(normalQueue, false, false, false, params);
channel.queueBind(normalQueue, NORMAL_EXCHANGE, "zhangsan");
System.out.println(" 等待接收消息.....");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
if(message.equals("info5")){
System.out.println("Consumer01 接收到消息" + message + " 并拒绝签收该消息");
//requeue 设置为 false 代表拒绝重新入队 该队列如果配置了死信交换机将发送到死信队列中
channel.basicReject(delivery.getEnvelope().getDeliveryTag(), false);
}else {
System.out.println("Consumer01 接收到消息"+message);
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
}
};
boolean autoAck = false;
channel.basicConsume(normalQueue, autoAck, deliverCallback, consumerTag -> {
});
}
}
3. C2 消费者代码不变
启动消费者 1 然后再启动消费者2。
延迟队列
延迟队列概念
延时队列,队列内部是有序的,最重要的特性就体现在它的延时属性上,延时队列中的元素是希望在指定时间到了以后或之前取出和处理,简单来说,延时队列就是用来存放需要在指定时间被处理的元素的队列。
延迟队列使用场景
1.订单在十分钟之内未支付则自动取消。
2.新创建的店铺,如果在十天内都没有上传过商品,则自动发送消息提醒。
3.用户注册成功后,如果三天内没有登陆则进行短信提醒。
4.用户发起退款,如果三天内没有得到处理则通知相关运营人员。
5.预定会议后,需要在预定的时间点前十分钟通知各个与会人员参加会议。
这些场景都有一个特点,需要在某个事件发生之后或者之前的指定时间点完成某一项任务,如:发生订单生成事件,在十分钟之后检查该订单支付状态,然后将未支付的订单进行关闭;看起来似乎使用定时任务,一直轮询数据,每秒查一次,取出需要被处理的数据,然后处理不就完事了吗?如果数据量比较少,确实可以这样做,比如:对于“如果账单一周内未支付则进行自动结算”这样的需求,如果对于时间不是严格限制,而是宽松意义上的一周,那么每天晚上跑个定时任务检查一下所有未支付的账单,确实也是一个可行的方案。但对于数据量比较大,并且时效性较强的场景,如:“订单十分钟内未支付则关闭“,短期内未支付的订单数据可能会有很多,活动期间甚至会达到百万甚至千万级别,对这么庞大的数据量仍旧使用轮询的方式显然是不可取的,很可能在一秒内无法完成所有订单的检查,同时会给数据库带来很大压力,无法满足业务要求而且性能低下。
RabbitMQ 中的 TTL
TTL 是什么呢?TTL 是 RabbitMQ 中一个消息或者队列的属性,表明一条消息或者该队列中的所有消息的最大存活时间,单位是毫秒。换句话说,如果一条消息设置了 TTL 属性或者进入了设置 TTL 属性的队列,那么这条消息如果在 TTL 设置的时间内没有被消费,则会成为"死信"。如果同时配置了队列的 TTL 和消息的TTL,那么较小的那个值将会被使用,有两种方式设置 TTL。
消息设置 TTL
另一种方式便是针对每条消息设置 TTL
队列设置 TTL
第一种是在创建队列的时候设置队列的“x-message-ttl”属性
两者的区别?
如果设置了队列的 TTL 属性,那么一旦消息过期,就会被队列丢弃(如果配置了死信队列被丢到死信队列中),而第二种方式,消息即使过期,也不一定会被马上丢弃,因为消息是否过期是在即将投递到消费者之前判定的,如果当前队列有严重的消息积压情况,则已过期的消息也许还能存活较长时间;另外,还需要注意的一点是,如果不设置 TTL,表示消息永远不会过期,如果将 TTL 设置为 0,则表示除非此时可以直接投递该消息到消费者,否则该消息将会被丢弃。
前一小节我们介绍了死信队列,刚刚又介绍了 TTL,至此利用 RabbitMQ 实现延时队列的两大要素已经集齐,接下来只需要将它们进行融合,再加入一点点调味料,延时队列就可以新鲜出炉了。想想看,延时队列,不就是想要消息延迟多久被处理吗,TTL 则刚好能让消息在延迟多久之后成为死信,另一方面,成为死信的消息都会被投递到死信队列里,这样只需要消费者一直消费死信队列里的消息就完事了,因为
里面的消息都是希望被立即处理的消息。
整合 SpringBoot
添加依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>3.1.0</version>
<relativePath/>
</parent>
<groupId>com.company.rabbitmq</groupId>
<artifactId>rabbitmq_00002</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>rabbitmq_00002</name>
<description>Demo project for Spring Boot</description>
<properties>
<java.version>8</java.version>
</properties>
<dependencies>
<!--RabbitMQ 依赖 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.47</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<!--swagger-->
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger2</artifactId>
<version>2.9.2</version>
</dependency>
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger-ui</artifactId>
<version>2.9.2</version>
</dependency>
<!--RabbitMQ 测试依赖 -->
<dependency>
<groupId>org.springframework.amqp</groupId>
<artifactId>spring-rabbit-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
配置文件
spring.rabbitmq.host=192.168.6.128
spring.rabbitmq.port=5672
spring.rabbitmq.username=admin
spring.rabbitmq.password=123
添加 Swagger 配置类
package com.company.rabbitmq.rabbitmq_00002.config;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import springfox.documentation.builders.ApiInfoBuilder;
import springfox.documentation.service.ApiInfo;
import springfox.documentation.service.Contact;
import springfox.documentation.spi.DocumentationType;
import springfox.documentation.spring.web.plugins.Docket;
import springfox.documentation.swagger2.annotations.EnableSwagger2;
@Configuration
@EnableSwagger2
public class SwaggerConfig {
@Bean
public Docket webApiConfig(){
return new Docket(DocumentationType.SWAGGER_2)
.groupName("webApi")
.apiInfo(webApiInfo())
.select()
.build();
}
private ApiInfo webApiInfo(){
return new ApiInfoBuilder()
.title("rabbitmq 接口文档")
.description(" 本文档描述了 rabbitmq 微服务接口定义")
.version("1.0")
.contact(new Contact("jack", "http://one.com", "982902178@qq.com"))
.build();
}
}
队列 TTL
代码架构图
创建两个队列 QA 和 QB,两者队列 TTL 分别设置为 10S 和 40S,然后在创建一个交换机 X 和死信交换机 Y,它们的类型都是 direct,创建一个死信队列 QD,它们的绑定关系如下:
配置文件类
package com.company.rabbitmq.rabbitmq_00002.config;
import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.HashMap;
import java.util.Map;
@Configuration
public class TtlQueueConfig {
//普通交换机的名称。
private static final String X_EXCHANGE = "X";
//死信交换机的名称。
private static final String Y_DEAD_LETTER_EXCHANGE = "Y";
//普通队列的名称。
private static final String QUEUE_A = "QA";
private static final String QUEUE_B = "QB";
//死信队列的名称。
private static final String DEAD_LETTER_QUEUE = "QD";
//private static final String QUEUE_C = "QC";
/*@Bean("queueC")
public Queue queueC(){
Map<String, Object> arguments = new HashMap<>(3);
//声明死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//设置死信RoutingKey。
arguments.put("x-dead-letter-routing-key", "YD");
//TTL
//arguments.put("x-message-ttl", 10000);
return QueueBuilder.durable(QUEUE_C).withArguments(arguments).build();
}*/
/*@Bean
public Binding queueCBindingX(@Qualifier("queueC") Queue queueC,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueC).to(xExchange).with("XC");
}*/
//声明普通交换机X。名称xExchange相当于别名。
@Bean("xExchange")
public DirectExchange xExchange(){
return new DirectExchange(X_EXCHANGE);
}
//声明死信交换机Y。
@Bean("yExchange")
public DirectExchange yExchange(){
return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);
}
//声明队列A。ttl为10s并绑定到对应的死信交换机
@Bean("queueA")
public Queue queueA(){
Map<String, Object> arguments = new HashMap<>(3);
//声明当前队列绑定的死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由key。
arguments.put("x-dead-letter-routing-key", "YD");
//声明队列的过期时间(TTL)。
arguments.put("x-message-ttl", 10000);
return QueueBuilder.durable(QUEUE_A).withArguments(arguments).build();
}
//声明队列A绑定X交换机。
@Bean
public Binding queueABindingX(@Qualifier("queueA") Queue queueA,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueA).to(xExchange).with("XA");
}
//声明队列B。ttl为 40s。并绑定到对应的死信交换机。
@Bean("queueB")
public Queue queueB(){
Map<String, Object> arguments = new HashMap<>(3);
//声明当前队列绑定的死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由key。
arguments.put("x-dead-letter-routing-key", "YD");
//声明队列的TTL。
arguments.put("x-message-ttl", 40000);
return QueueBuilder.durable(QUEUE_B).withArguments(arguments).build();
}
// 声明队列 B 绑定 X 交换机
@Bean
public Binding queueBBindingX(@Qualifier("queueB") Queue queue1B,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queue1B).to(xExchange).with("XB");
}
//声明死信队列QD
@Bean("queueD")
public Queue queueD(){
return new Queue(DEAD_LETTER_QUEUE);
}
//声明死信队列QD绑定关系。
@Bean
public Binding queueDBindingY(@Qualifier("queueD") Queue queueD,
@Qualifier("yExchange") DirectExchange yExchange){
return BindingBuilder.bind(queueD).to(yExchange).with("YD");
}
}
消息消费者
package com.company.rabbitmq.rabbitmq_00002.consumer;
import com.rabbitmq.client.Channel;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
import java.util.Date;
@Slf4j
@Component
public class DeadLetterQueueConsumer {
@RabbitListener(queues = "QD")
public void receiveD(Message message, Channel channel) {
String msg = new String(message.getBody());
log.info("当前时间:{},收到死信队列信息:{}", new Date().toString(), msg);
}
}
消息生产者
package com.company.rabbitmq.rabbitmq_00002.controller;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
import java.util.Date;
@Slf4j
@RequestMapping("ttl")
@RestController
public class SendMsgController {
@Resource
private RabbitTemplate rabbitTemplate;
@GetMapping("sendMsg/{message}")
public void sendMsg(@PathVariable String message){
log.info("当前时间:{},发送一条信息给两个TTL队列:{}", new Date().toString(), message);
rabbitTemplate.convertAndSend("X", "XA", "消息来自ttl为10S的队列: " + message);
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
//开始发消息。既要发消息又要发TTL。
@GetMapping("/sendExpirationMsg/{message}/{ttlTime}")
public void sendMsg(@PathVariable String message, @PathVariable String ttlTime){
log.info("当前时间:{},发送一条信息时长{}毫秒给TTL信息给队列QC:{}", new Date().toString(), ttlTime, message);
rabbitTemplate.convertAndSend("X", "XC", message, msg->{
//发送消息的时候延时时长。
msg.getMessageProperties().setExpiration(ttlTime);
return msg;
});
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
}
发起一个请求:http://localhost:8080/ttl/sendMsg/嘻嘻嘻
第一条消息在10s后变成了死信消息,然后被消费者消费掉,第二条消息在40s之后变成了死信消息,然后被消费掉,这样一个延时队列就打造完成了。不过,如果这样使用的话,岂不是每增加一个新的时间需求,就要新增一个队列,这里只有10s和40s两个时间选项,如果需要一个小时后处理,那么就需要增加TTL为一个小时的队列,如果是预定会议室然后提前通知这样的场景,岂不是要增加无数个队列才能满足需求?
延时队列优化
代码架构图
在这里新增了一个队列QC,绑定关系如下,该队列不设置TTL时间。
配置类
package com.company.rabbitmq.rabbitmq_00002.config;
import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.HashMap;
import java.util.Map;
@Configuration
public class TtlQueueConfig {
//普通交换机的名称。
private static final String X_EXCHANGE = "X";
//死信交换机的名称。
private static final String Y_DEAD_LETTER_EXCHANGE = "Y";
//普通队列的名称。
private static final String QUEUE_A = "QA";
private static final String QUEUE_B = "QB";
//死信队列的名称。
private static final String DEAD_LETTER_QUEUE = "QD";
private static final String QUEUE_C = "QC";
@Bean("queueC")
public Queue queueC(){
Map<String, Object> arguments = new HashMap<>(3);
//声明死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//设置死信RoutingKey。
arguments.put("x-dead-letter-routing-key", "YD");
//TTL
//arguments.put("x-message-ttl", 10000);
return QueueBuilder.durable(QUEUE_C).withArguments(arguments).build();
}
@Bean
public Binding queueCBindingX(@Qualifier("queueC") Queue queueC,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueC).to(xExchange).with("XC");
}
//声明普通交换机X。名称xExchange相当于别名。
@Bean("xExchange")
public DirectExchange xExchange(){
return new DirectExchange(X_EXCHANGE);
}
//声明死信交换机Y。
@Bean("yExchange")
public DirectExchange yExchange(){
return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);
}
//声明队列A。ttl为10s并绑定到对应的死信交换机
@Bean("queueA")
public Queue queueA(){
Map<String, Object> arguments = new HashMap<>(3);
//声明当前队列绑定的死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由key。
arguments.put("x-dead-letter-routing-key", "YD");
//声明队列的过期时间(TTL)。
arguments.put("x-message-ttl", 10000);
return QueueBuilder.durable(QUEUE_A).withArguments(arguments).build();
}
//声明队列A绑定X交换机。
@Bean
public Binding queueABindingX(@Qualifier("queueA") Queue queueA,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueA).to(xExchange).with("XA");
}
//声明队列B。ttl为 40s。并绑定到对应的死信交换机。
@Bean("queueB")
public Queue queueB(){
Map<String, Object> arguments = new HashMap<>(3);
//声明当前队列绑定的死信交换机。
arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由key。
arguments.put("x-dead-letter-routing-key", "YD");
//声明队列的TTL。
arguments.put("x-message-ttl", 40000);
return QueueBuilder.durable(QUEUE_B).withArguments(arguments).build();
}
// 声明队列 B 绑定 X 交换机
@Bean
public Binding queueBBindingX(@Qualifier("queueB") Queue queue1B,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queue1B).to(xExchange).with("XB");
}
//声明死信队列QD
@Bean("queueD")
public Queue queueD(){
return new Queue(DEAD_LETTER_QUEUE);
}
//声明死信队列QD绑定关系。
@Bean
public Binding queueDBindingY(@Qualifier("queueD") Queue queueD,
@Qualifier("yExchange") DirectExchange yExchange){
return BindingBuilder.bind(queueD).to(yExchange).with("YD");
}
}
消息生产者
package com.company.rabbitmq.rabbitmq_00002.controller;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
import java.util.Date;
@Slf4j
@RequestMapping("ttl")
@RestController
public class SendMsgController {
@Resource
private RabbitTemplate rabbitTemplate;
@GetMapping("sendMsg/{message}")
public void sendMsg(@PathVariable String message){
log.info("当前时间:{},发送一条信息给两个TTL队列:{}", new Date().toString(), message);
rabbitTemplate.convertAndSend("X", "XA", "消息来自ttl为10S的队列: " + message);
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
//开始发消息。既要发消息又要发TTL。
@GetMapping("/sendExpirationMsg/{message}/{ttlTime}")
public void sendMsg(@PathVariable String message, @PathVariable String ttlTime){
log.info("当前时间:{},发送一条信息时长{}毫秒给TTL信息给队列QC:{}", new Date().toString(), ttlTime, message);
rabbitTemplate.convertAndSend("X", "XC", message, msg->{
//发送消息的时候延时时长。
msg.getMessageProperties().setExpiration(ttlTime);
return msg;
});
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
}
消息消费者
package com.company.rabbitmq.rabbitmq_00002.controller;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
import java.util.Date;
@Slf4j
@RequestMapping("ttl")
@RestController
public class SendMsgController {
@Resource
private RabbitTemplate rabbitTemplate;
@GetMapping("sendMsg/{message}")
public void sendMsg(@PathVariable String message){
log.info("当前时间:{},发送一条信息给两个TTL队列:{}", new Date().toString(), message);
rabbitTemplate.convertAndSend("X", "XA", "消息来自ttl为10S的队列: " + message);
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
//开始发消息。既要发消息又要发TTL。
@GetMapping("/sendExpirationMsg/{message}/{ttlTime}")
public void sendMsg(@PathVariable String message, @PathVariable String ttlTime){
log.info("当前时间:{},发送一条信息时长{}毫秒给TTL信息给队列QC:{}", new Date().toString(), ttlTime, message);
rabbitTemplate.convertAndSend("X", "XC", message, msg->{
//发送消息的时候延时时长。
msg.getMessageProperties().setExpiration(ttlTime);
return msg;
});
rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为40S的队列: " + message);
}
}
发起请求
http://localhost:8080/ttl/sendExpirationMsg/你好 1/20000
http://localhost:8080/ttl/sendExpirationMsg/你好 2/2000
看起来似乎没什么问题,但是在最开始的时候,就介绍过如果使用在消息属性上设置TTL的方式,消息可能并不会按时“死亡“,因为 RabbitMQ只会检查第一个消息是否过期,如果过期则丢到死信队列,如果第一个消息的延时时长很长,而第二个消息的延时时长很短,第二个消息并不会优先得到执行。
RabbitMQ插件实现延迟队列
上文中提到的问题,确实是一个问题,如果不能实现在消息粒度上的TTL,并使其在设置的TTL时间及时死亡,就无法设计成一个通用的延时队列。那如何解决呢,接下来我们就去解决该问题。
安装延时队列插件
参见:https://editor.csdn.net/md/?articleId=136034974
代码架构图
在这里新增了一个队列delayed.queue,一个自定义交换机delayed.exchange,绑定关系如下:
配置文件类
在我们自定义的交换机中,这是一种新的交换类型,该类型消息支持延迟投递机制。消息传递后并不会立即投递到目标队列中,而是存储在 mnesia(一个分布式数据系统)表中,当达到投递时间时,才投递到目标队列中。
package com.company.rabbitmq.rabbitmq_00002.config;
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.CustomExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.HashMap;
import java.util.Map;
@Configuration
public class DelayedQueueConfig {
//队列。
public static final String DELAYED_QUEUE_NAME = "delayed.queue";
//交换机。
public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";
//routing key。
public static final String DELAYED_ROUTING_KEY = "delayed.routingKey";
@Bean
public Queue delayedQueue() {
return new Queue(DELAYED_QUEUE_NAME);
}
//自定义交换机。在这里定义的是一个延迟交换机。
@Bean
public CustomExchange delayedExchange() {
Map<String, Object> arguments = new HashMap<>();
// 自定义交换机的类型
arguments.put("x-delayed-type", "direct");
/*
public CustomExchange(String name, String type, boolean durable, boolean autoDelete, Map<String, Object> arguments)
1、交换机名称。
2、交换机类型。
3、是否持久化。true:持久化。false:不持久化。
4、是否自动删除。true:自动删除。false:不自动删除。
5、其他的参数。
*/
return new CustomExchange(DELAYED_EXCHANGE_NAME, "x-delayed-message", true, false, arguments);
}
@Bean
public Binding bindingDelayedQueue(@Qualifier("delayedQueue") Queue queue,
@Qualifier("delayedExchange") CustomExchange delayedExchange) {
return BindingBuilder.bind(queue).to(delayedExchange).with(DELAYED_ROUTING_KEY).noargs();
}
}
消息生产者
public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";
public static final String DELAYED_ROUTING_KEY = "delayed.routingKey";
//开始发送消息,基于插件的消息,延迟时间。
@GetMapping("sendDelayMsg/{message}/{delayTime}")
public void sendMsg(@PathVariable String message,@PathVariable Integer delayTime) {
/*
public void convertAndSend(String exchange, String routingKey, final Object message, final MessagePostProcessor messagePostProcessor) throws AmqpException
Message postProcessMessage(Message message) throws AmqpException;
*/
MessagePostProcessor messagePostProcessor = message1 -> {
message1.getMessageProperties().setDelay(delayTime);
return message1;
};
rabbitTemplate.convertAndSend(DELAYED_EXCHANGE_NAME, DELAYED_ROUTING_KEY, message, messagePostProcessor);
log.info("当前时间:{},发送一条延迟{}毫秒的信息给队列 delayed.queue:{}", new Date(), delayTime, message);
}
消息消费者
package com.company.rabbitmq.rabbitmq_00002.consumer;
import com.rabbitmq.client.Channel;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
import java.util.Date;
@Slf4j
@Component
public class DeadLetterQueueConsumer {
@RabbitListener(queues = "QD")
public void receiveD(Message message, Channel channel) {
String msg = new String(message.getBody());
log.info("当前时间:{},收到死信队列信息:{}", new Date().toString(), msg);
}
}
结果
发起请求:
http://localhost:8080/ttl/sendDelayMsg/come on baby1/20000
http://localhost:8080/ttl/sendDelayMsg/come on baby2/2000
第二个消息被先消费掉了,符合预期。
总结
延时队列在需要延时处理的场景下非常有用,使用 RabbitMQ 来实现延时队列可以很好的利用RabbitMQ 的特性,如:消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正确处理的消息不会被丢弃。另外,通过 RabbitMQ 集群的特性,可以很好的解决单点故障问题,不会因为单个节点挂掉导致延时队列不可用或者消息丢失。当然,延时队列还有很多其它选择,比如利用 Java 的 DelayQueue,利用 Redis 的 zset,利用 Quartz或者利用 kafka 的时间轮,这些方式各有特点,看需要适用的场景。
发布确认高级
在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。于是,我们开始思考,如何才能进行 RabbitMQ 的消息可靠投递呢?特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢?
应 用 [xxx] 在 [08-1516:36:04] 发 生 [ 错 误 日 志 异 常 ] , alertId=[xxx] 。 由
[org.springframework.amqp.rabbit.listener.BlockingQueueConsumer:start:620] 触 发 。
应用 xxx 可能原因如下
服 务 名 为 :
异 常 为 : org.springframework.amqp.rabbit.listener.BlockingQueueConsumer:start:620,
产 生 原 因 如 下 :1.org.springframework.amqp.rabbit.listener.QueuesNotAvailableException:
Cannot prepare queue for listener. Either the queue doesn’t exist or the broker will not
allow us to use it.||Consumer received fatal=false exception on startup:
发布确认SpringBoot版本
确认机制方案
代码架构图
配置文件
在配置文件当中需要添加:spring.rabbitmq.publisher-confirm-type=correlated
⚫ NONE
禁用发布确认模式,是默认值
⚫ CORRELATED
发布消息成功到交换器后会触发回调方法
⚫ SIMPLE
经测试有两种效果,其一效果和 CORRELATED 值一样会触发回调方法,其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果,根据返回结果来判定下一步的逻辑,要注意的点是 waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel,则接下来无法发送消息到 broker
spring.rabbitmq.host=182.92.234.71
spring.rabbitmq.port=5672
spring.rabbitmq.username=admin
spring.rabbitmq.password=123
spring.rabbitmq.publisher-confirm-type=correlated
添加配置类
package com.company.rabbitmq.rabbitmq_00002.config;
import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/*
配置类:目的是发布确认。
*/
@Configuration
public class ConfirmConfig {
//交换机。
public static final String CONFIRM_EXCHANGE_NAME = "confirm.exchange";
//队列。
public static final String CONFIRM_QUEUE_NAME = "confirm.queue";
//routing key。
private static final String CONFIRM_ROUTIONG_KEY = "key1";
//声明交换机。
@Bean("confirmExchange")
public DirectExchange confirmExchange(){
return new DirectExchange(CONFIRM_EXCHANGE_NAME);
}
//声明确认队列。
@Bean("confirmQueue")
public Queue confirmQueue(){
return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build();
}
//声明确认队列绑定关系。
@Bean
public Binding queueBinding(@Qualifier("confirmQueue") Queue queue,
@Qualifier("confirmExchange") DirectExchange exchange){
return BindingBuilder.bind(queue).to(exchange).with(CONFIRM_ROUTIONG_KEY);
}
}
回调方法
消息生产者
消息消费者