1.安装rabbitmq服务器
我们选择在linux下安装
安装的前提需要在虚拟机下安装docker
docker pull rabbitmq:management(拉去镜像) docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management(设置容器) |
安装完成后访问我们的管理页面 http://192.168.1.111:15672/
192.168.1.111是你们设置的虚拟机地址
安装虚拟机和docker可以翻阅我的文章
显示登录界面表示成功了。账号密码默认 guest 。
2.rabbitmq的概念
2.1.1. 什么是 MQ
MQ(message queue),从字面意思上看,本质是个队列,FIFO 先入先出,只不过队列中存放的内容是 message 而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ 是一种非常常 见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后,消息发送上游只需要依赖 MQ,不 用依赖其他服务。
2.1.2. 为什么要用 MQ
1.流量消峰 举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正 常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限 制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分 散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体 验要好。 2.应用解耦 以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合 调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于 消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在 这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流 系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。
2.2.1. RabbitMQ 的概念
RabbitMQ 是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包 裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑 RabbitMQ 是 一个快递站,一个快递员帮你传递快件。RabbitMQ 与快递站的主要区别在于,它不处理快件而是接收, 存储和转发消息数据。
2.2.2. 四大核心概念
生产者
产生数据发送消息的程序是生产者
交换机
交换机是 RabbitMQ 非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息 推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推 送到多个队列,亦或者是把消息丢弃,这个得有交换机类型决定
队列
队列是 RabbitMQ 内部使用的一种数据结构,尽管消息流经 RabbitMQ 和应用程序,但它们只能存 储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可 以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式
消费者
消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费 者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者。
还有很多很想细节的需要大家查阅互联网的其他信息。
在这里提出一些重点和常用的点。
3.实战测试小dome
3.1准备
新建一个maven工程
引入mq的依赖
<dependencies>
<!--rabbitmq 依赖客户端-->
<dependency>
<groupId>com.rabbitmq</groupId>
<artifactId>amqp-client</artifactId>
<version>5.8.0</version>
</dependency>
<!--操作文件流的一个依赖-->
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.6</version>
</dependency>
</dependencies>
3.2 用代码演示生产者->队列->消费者关系 一个生产者对应一个消费者
原理图
创建实体类(以后每次的案例都会放在com.dfp.xxx包下 ,每次安排想对应的一组案例都会在同一个xxx包下)
package com.dfp.one;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
/**
* 消息生产者
*/
public class Producer {
//队列名称
private final static String QUEUE_NAME="dfp_1";
public static void main(String[] args) throws IOException, TimeoutException {
/**
* //创建一个工厂链接
* 设置mq安装的地址
* 登录的账号
* 登录的密码
*/
ConnectionFactory factory=new ConnectionFactory();
factory.setHost("192.168.1.111");
factory.setUsername("guest");
factory.setPassword("guest");
//channel实现自动close接口自动关闭,不需要显示
// 创建连接
Connection connection= factory.newConnection();
// 创建信道
Channel channel= connection.createChannel();
/**
* 生成一个队列
* 1.队列名称
* 2.队列里面的消息是非持久化,默认消息存放在内存中
* 3.该队列是否提供一个消费者进行消费,是否决定共享true可以多个消费者消费
* 4.是否自动删除,最后一个消费者断开后,该队列是否自动删除。true自动删除
* 5.其他参数
*/
channel.queueDeclare(QUEUE_NAME,false,false,false,null);
String msg="hello,dfp";
/**
* 发送一个消息
* 1.发送到交换机的位置
* 2.路由的key是哪个
* 3.其他参数
* 4.发送的消息体
*/
channel.basicPublish("",QUEUE_NAME,null,msg.getBytes());//二进制传输
System.out.println("消息发送完毕");
}
}
package com.dfp.one;
import com.rabbitmq.client.*;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
/**
* 消费者
*/
public class Consumer {
private final static String QUEUE_NAME ="dfp_1";
public static void main(String[] args) throws IOException, TimeoutException {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("192.168.1.111");
factory.setUsername("guest");
factory.setPassword("guest");
Connection connection = factory.newConnection();
Channel channel= connection.createChannel();
System.out.println("等待消息接收。。。。");
//推送的消息如何进行消费的接口回调
DeliverCallback deliverCallback=(consumerTag,delivert)->{
String msg=new String(delivert.getBody());
System.out.println(msg);
};
//取消消费者的一个回调接口,如何在消费的时候队列删除掉了
CancelCallback cancelCallback=(consumerTag)->{
System.out.println("消息中断。。。");
};
/**
* 消费者消费消息
* 1.消费哪个队列
* 2.消费成功之后是否要自动应答 true 代表自动应答 false 手动应答
* 3.消费者未成功消费的回调
* 4.消息接收异常回调
*/
channel.basicConsume(QUEUE_NAME,true,deliverCallback,cancelCallback);
}
}
先启动消费者程序在启动生产者
3.3 一个生产者对应多个消费者
工作队列(又称任务队列)的主要思想是避免立即执行资源密集型任务,而不得不等待它完成。 相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进 程将弹出任务并最终执行作业。当有多个工作线程时,这些工作线程将一起处理这些任务。
说白一点,就像排队入场的时候我们只有一条队伍排队但是,电影院的入口有三或者多个个检票员
新建如下:
take是一个生产者
我们将代码重复的部分封装到一个工具类上方便运用
/**
* 发送线程
*/
public class take {
private static final String QUEUE_ANME="dfp_1";
public static void main(String[] args) throws Exception{
//创建连接
Channel channel= RabbitMqUtils.getChanne1();
//声明队列初始化
/**
* 生成一个队列
* 1.队列名称
* 2.队列里面的消息是非持久化,默认消息存放在内存中
* 3.该队列是否提供一个消费者进行消费,是否决定共享true可以多个消费者消费
* 4.是否自动删除,最后一个消费者断开后,该队列是否自动删除。true自动删除
* 5.其他参数
*/
channel.queueDeclare(QUEUE_ANME,false,false,false,null);
//控制台输入
Scanner scanner=new Scanner(System.in);
while (scanner.hasNext()){
String msg= scanner.next();
/**
* 发送一个消息
* 1.发送到交换机的位置
* 2.路由的key是哪个,
* 3.其他参数
* 4.发送的消息体
*/
channel.basicPublish("",QUEUE_ANME,null,msg.getBytes());
System.out.println("发送完毕:"+msg);
}
}
}
public class Work01 {
private final static String QUEUE_NAME ="dfp_1";
public static void main(String[] args) throws IOException, TimeoutException {
// 创建连接
Channel channel= RabbitMqUtils.getChanne1();
//消息的接收 回调
DeliverCallback deliverCallback=(consumerTag,msg)->{
System.out.println("接收到的消息:"+new String(msg.getBody()));
};
//接收的消息被取消执行以下内容
CancelCallback cancelCallback =(consumerTag)->{
System.out.println(consumerTag+"消息发送者取消接口回调");
};
/**
* 消费者消息
* 1.消费那个队列
* 2.消费成功后是否自动应答,true代表是
* 3.消费者未成功消费的回调
* 4.消费者取消消费的回调
*/
System.out.println("c1等待接收消息...");
channel.basicConsume(QUEUE_NAME,true,deliverCallback,cancelCallback);
}
}
public class Work02 {
private final static String QUEUE_NAME ="dfp_1";
public static void main(String[] args) throws IOException, TimeoutException {
// 创建连接
Channel channel= RabbitMqUtils.getChanne1();
//消息的接收
DeliverCallback deliverCallback=(consumerTag,msg)->{
System.out.println("接收到的消息:"+new String(msg.getBody()));
};
//接收的消息被取消执行以下内容
CancelCallback cancelCallback =(consumerTag)->{
System.out.println(consumerTag+"消息发送者取消接口回调");
};
/**
* 消费者消息
* 1.消费那个队列
* 2.消费成功后是否自动应答,true代表是
* 3.消费者未成功消费的回调
* 4.消费者取消消费的回调
*/
System.out.println("c2等待接收消息...");
channel.basicConsume(QUEUE_NAME,true,deliverCallback,cancelCallback);
}
}
结果
细心的朋友会发现有的消息丢失了,我们一会来讲怎么解决。即使有数据的丢失但是队列和消费者的消费顺序是按照顺序轮训获取生产者发送的消息。
3.4 消息应答 (解决上述问题)
概念:
消费者完成一个任务可能需要一段时间,如果其中一个消费者处理一个长的任务并仅只完成 了部分突然它挂掉了,会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息,便立即将该消 息标记为删除。在这种情况下,突然有个消费者挂掉了,我们将丢失正在处理的消息。以及后续 发送给该消费这的消息,因为它无法接收到。 为了保证消息在发送过程中不丢失,rabbitmq 引入消息应答机制,消息应答就是:消费者在接 收到消息并且处理该消息之后,告诉 rabbitmq 它已经处理了,rabbitmq 可以把该消息删除了。
自动应答
消息发送后立即被认为已经传送成功,这种模式需要在高吞吐量和数据传输安全性方面做权 衡,因为这种模式如果消息在接收到之前,消费者那边出现连接或者 channel 关闭,那么消息就丢 失了,当然另一方面这种模式消费者那边可以传递过载的消息,没有对传递的消息数量进行限制, 当然这样有可能使得消费者这边由于接收太多还来不及处理的消息,导致这些消息的积压,最终 使得内存耗尽,最终这些消费者线程被操作系统杀死,所以这种模式仅适用在消费者可以高效并 以某种速率能够处理这些消息的情况下使用。
消息应答的方法
A.Channel.basicAck(用于肯定确认)
RabbitMQ 已知道该消息并且成功的处理消息,可以将其丢弃了
B.Channel.basicNack(用于否定确认)
C.Channel.basicReject(用于否定确认)
与 Channel.basicNack 相比少一个参数 不处理该消息了直接拒绝,可以将其丢弃了
3.5 Multiple 的解释
手动应答的好处是可以批量应答并且减少网络拥堵multiple 的 true 和 false 代表不同意思 true 代表批量应答 channel 上未应答的消息 比如说 channel 上有传送 tag 的消息 5,6,7,8 当前 tag 是 8 那么此时 5-8 的这些还未应答的消息都会被确认收到消息应答 false 同上面相比 只会应答 tag=8 的消息 5,6,7 这三个消息依然不会被确认收到消息应答
图片解释
3.5消息自动重新入队
如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或 TCP 连接丢失),导致消息 未发送 ACK 确认,RabbitMQ 将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者 可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确 保不会丢失任何消息
代码实现
新建如下
生产者代码几乎没差别
public class take {
private static final String TACK_QUEUE_ANME="ack-queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channe1 = RabbitMqUtils.getChanne1();
//声明队列
/** 生成一个队列
* 1.队列名称
* 2.队列里面的消息是非持久化,默认消息存放在内存中
* 3.该队列是否提供一个消费者进行消费,是否决定共享true可以多个消费者消费
* 4.是否自动删除,最后一个消费者断开后,该队列是否自动删除。true自动删除
* 5.其他参数
*/
channe1.queueDeclare(TACK_QUEUE_ANME,false,false,false,null);
//获取控制台的输入消息
Scanner scanner=new Scanner(System.in);
while (scanner.hasNext()){
String msg= scanner.next();
/**
* 默认交换机
* 队列名称
* 其他参数
* 获取消息的二进制数
*/
channe1.basicPublish("",TACK_QUEUE_ANME,null,msg.getBytes("UTF-8"));//防止中文编码错误
System.out.println("产生消息"+new Date()+":" +msg);
}
}
}
设置手动应答
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
并且关闭自动应答
/**
* 消息接受者
* 消息在手动应答的时候是不会丢失,对异常情况会把消息放回队列中 重新等待
*/
public class Work03 {
private static final String TACK_QUEUE_ANME="ack-queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMqUtils.getChanne1();
System.out.println("C1 等待接收消息处理时间较短");
//接收到消息的回调
DeliverCallback deliverCallback=(consumerTag,message)->{
SleepUtils.sleep(1);
String msg = new String(message.getBody(),"UTF-8");
System.out.println("c1接收的消息:"+new Date() +":"+msg);
//手动应答
/**
* 消息的标记tag
* 消息否定批量应答 不批量处理应答信道中的消息
*/
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
// 未接收到消息的回调
CancelCallback cancelCallback=(consumerTag)->{
System.out.println("消费者取消消费接收接口回调");
};
boolean autoAck = false;
channel.basicConsume(TACK_QUEUE_ANME,autoAck,deliverCallback,cancelCallback);
}
}
/**
* 消息接受者
* 消息在手动应答的时候是不会丢失,对异常情况会把消息放回队列中 重新等待
*/
public class Work04 {
private static final String TACK_QUEUE_ANME="ack-queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = RabbitMqUtils.getChanne1();
System.out.println("C2 等待接收消息处理时间较长长长");
//接收到消息的回调
DeliverCallback deliverCallback=(consumerTag, message)->{
SleepUtils.sleep(30);
String msg = new String(message.getBody(),"UTF-8");
System.out.println("c2接收的消息"+new Date() +":"+msg);
//手动应答
/**
* 消息的标记tag
* 消息否定批量应答 不批量处理应答信道中的消息
*/
channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
};
// 未接收到消息的回调
CancelCallback cancelCallback=(consumerTag)->{
System.out.println("消费者取消消费接收接口回调");
};
boolean autoAck = false;
channel.basicConsume(TACK_QUEUE_ANME,autoAck,deliverCallback,cancelCallback);
}
}
work03和04 的对比差距在 接受到生产者的信息之后处理的时间不同
SleepUtils.sleep(30)让work04等待30执行
并且在等待的图中关闭work04如果按照轮训的方式 88信号原本应该在work04打印,当我们结束了work04 ,88信号回到队列让work03读取
3.6队列持久化
应用场景:我们知道如何处理任务不丢失的情况,但是如何保障当 RabbitMQ 服务停掉以后消
注意!!
因为在rabbitmq的服务器中如果我们已经注册的一条队列,我们需要修改他的队列状态,要删除原先的队列重新创建一条队列不然会报错!
删除队列
点击delete
重新启动take的main方法
我们发现ack-queue标记D表示队列持久化
这样就保证了队列的持久化,使得消息在队列中不会消失有了一定的保证。
3.7消息持久化
既然有队列的持久化顾名思义就有消息的持久化来保证消息传输的安全不丢失,将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘,但是 这里依然存在当消息刚准备存储在磁盘的时候 但是还没有存储完,消息还在缓存的一个间隔点。此时并没
4.消息分发方式
4.1不公平分发
在上述的几个案例中,我们使用到的分发方式是轮训分发,意识就是在消费者获取消息的时候,是一个消费者处理消息是一个接着一个按顺序交替执行的,即使你处理的慢也是没有影响的。但是这样遇到上述的work03和work04。对于work04处理较慢的速度来说,就会使得整体的处理消息的速度是减慢的了。不公平分发的原理就是速度快的消费者会主动去帮助速度慢的消费者处理信息。
通俗易懂的原理就是,能者多劳。
因为这是处理接受信息的方式所以我们在消费者的代码上进行修改
我们修改信道的。basicQos()属性不给值默认是0,我们设为1表示不公平分发
结果
我们发现第一次发生的aa还没有处理完毕,所有速度快的c1程序处理了后续的所有信息。
4.2预取值分发
按照上述的分发原则不公平分发,显然觉得太不公平。对于正常的观点来说,2个机器一个慢一个快,慢的在做一个拿快的就要全部做完了。
因此我们引入取值分发,就是我们设定消费者要处理几条数据,在消费消息堆积的时候。
比如 我让work03消费2个work04消费5个
但是这个消费的数量也不是绝对定义的而是一种动态消费能力只有在消费能力都达到上限才有明显的效果。
修改代码
其实和不公平分发的设置时一样的,当2个工作的取值相同的时候就会根据能力不同安排处理任务。
其实这个道理我理解的来看就是,从总队列中取值到规定的消费者程序中,但是由于消费者处理快慢不同,每个程序先拿了x个任务这x个任务在处理之前再进行一次排队等待。
就好像去医院挂号,在大厅排队挂号了,好了之后去医生科室排队。
5.发布确认的策略
原理:
单个确认发布 :发布一条消息确认一次,可以了解每个发布的情况但是很慢。
批量确认发布:一个发布数量确认一次,较快但是不知道发布的详细情况
异步确认发布:生产者可以不听的发布交由rabbitmq的监听器去监控,如果有消息rabbitmq会返回消息给你。
代码实现:
/**
* 消息发布确认模式
* 使用时间比较
* 1.单个确认
* 2.批量确认
* 3.异步确认
*
*/
public class MessageToConfirm {
public static final int MESSAGE_COUNT=1000;
public static void main(String[] args) throws Exception {
//* * 1.单个确认
// MessageToConfirm.oneMethod();//单个确认消耗时间846ms
//* * 2.批量确认
// MessageToConfirm.moreMethod();//批量确认消耗时间89ms
//* * 3.异步确认
MessageToConfirm.differMethod();//异步确认消耗时间50ms
}
//* * 1.单个确认
public static void oneMethod() throws Exception {
//创建信道
Channel channel = RabbitMqUtils.getChanne1();
String queue_name= UUID.randomUUID().toString();
//初始化队列
channel.queueDeclare(queue_name,true,false,false,null);
//开启发布确认
channel.confirmSelect();
long strat=System.currentTimeMillis();
//循环发送消息模拟
for (int i=0;i<MESSAGE_COUNT;i++){
String message=i+"";
channel.basicPublish("",queue_name,null,message.getBytes());
//单个消息立即进行发布确认
boolean flag=channel.waitForConfirms();
if (flag){
//如何消息确认返回为真
System.out.println(i+"---->消息发布成功");
}
}
long end=System.currentTimeMillis();
System.out.println("单个确认消耗时间"+(end-strat)+"ms");
}
//* * 2.批量确认
public static void moreMethod() throws Exception {
//创建信道
Channel channel = RabbitMqUtils.getChanne1();
String queue_name= UUID.randomUUID().toString();
//初始化队列
channel.queueDeclare(queue_name,true,false,false,null);
//开启发布确认
channel.confirmSelect();
//设置批量尺寸,每100条确认一次
int size=100;
long strat=System.currentTimeMillis();
//循环发送消息模拟
for (int i=0;i<MESSAGE_COUNT;i++){
String message=i+"";
channel.basicPublish("",queue_name,null,message.getBytes());
if (i%size==0){
boolean flag=channel.waitForConfirms();
if (flag){
//如何消息确认返回为真
System.out.println(i+"---->消息发布成功");
}
}
}
long end=System.currentTimeMillis();
System.out.println("批量确认消耗时间"+(end-strat)+"ms");
}
//* * 3.异步确认
public static void differMethod() throws Exception {
//创建信道
Channel channel = RabbitMqUtils.getChanne1();
String queue_name= UUID.randomUUID().toString();
//初始化队列
channel.queueDeclare(queue_name,false,false,false,null);
//开启发布确认
channel.confirmSelect();
/**
* 线程安全有序的一个哈希表,适用于高并发的状态下
* 1.关联序号和消息 key-value
* 2.删除指定的内容
* 3.支持高并发(多线程)
*/
ConcurrentSkipListMap<Long,String> out=new ConcurrentSkipListMap<>();
//消息发送成功的回调函数
/**
* 1.消息的表示
* 2.批量确认
*/
ConfirmCallback ack=( tag, multiple)->{
//2.删除已经确认的消息,剩下的就是未确认的消息
if (multiple){
//如果是批量获取,批量删除
ConcurrentNavigableMap<Long, String> confirmed = out.headMap(tag,true);
confirmed.clear();
}else {
//不是批量,移除当前标记的信息
out.remove(tag);
}
System.out.println("已确认的消息"+tag);
};
//消息发送失败的回调函数
ConfirmCallback nac=(tag,multiple)->{
String message = out.get(tag);
//打印一下未确认的消息是那些
System.out.println("未确认消息的内容"+message+"---->未确认的消息的标记"+tag);
};
//准备消息监听器
/**
* 1.成功却的消息回调
* 2.失败消息的回调
*/
channel.addConfirmListener(ack,nac);
long strat=System.currentTimeMillis();
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message="-->异步"+i;
channel.basicPublish("",queue_name,null,message.getBytes());
//不用设置发布确认 boolean flag=channel.waitForConfirms();
//1.记录所有要发送的消息总和
/**
* channel.getNextPublishSeqNo()获取下一个消息的序列号
* 设置信道的hash
* 1.获取信道的编号=key
* 2.消息内容=value
*/
out.put(channel.getNextPublishSeqNo(),message);
}
long end=System.currentTimeMillis();
System.out.println("异步确认消耗时间"+(end-strat)+"ms");
}
}
6.交换机
6.1.Exchanges 概念
6.2 Exchanges 的类型
6.3临时队列
6.4交换机和队列的绑定关系
6.5Fanout 介绍
public class send {
//交换机名称
public static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channe1 = RabbitMqUtils.getChanne1();
/**
* //定义一个交换机
* 1.交换机的名称
* 2.交换机的类型
*/
channe1.exchangeDeclare(EXCHANGE_NAME,"fanout");
//控制台输入消息
Scanner scanner=new Scanner(System.in);
while (scanner.hasNext()){
String msg = scanner.next();
/**
* 声明队列
* 1.交换机名称
* 2.绑定秘钥(我们设为空)
* 3.其他参数
* 4.发送消息内容
*/
channe1.basicPublish(EXCHANGE_NAME,"",null,msg.getBytes("utf-8"));
System.out.println("生产者发布信息"+msg);
}
}
}
/**
* 消息接收
*/
public class receiveA {
//交换机名称
public static final String EXCHANGE_NAME="logs";
public static void main(String[] args) throws Exception{
Channel channe1 = RabbitMqUtils.getChanne1();
/**
* //定义一个交换机
* 1.交换机的名称
* 2.交换机的类型
*/
channe1.exchangeDeclare(EXCHANGE_NAME,"fanout");
/**
* 声明一个随机零时队列
* 当消费者断开与队列的连接,队列自动删除
* 并返回随机队列的名称
*/
String queueName = channe1.queueDeclare().getQueue();
/**
* 绑定交换机和队列
* 1.绑定队列的名称
* 2.绑定交换机的名称
* 3.绑定秘钥(我们设为空)
*/
channe1.queueBind(queueName,EXCHANGE_NAME,"");
System.out.println("等待消息接收....");
//接收消息回调
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("R_A接收的消息为:"+new String(msg.getBody(),"utf-8"));
};
//消息取消回调 我设为空方法体
channe1.basicConsume(queueName,true,deliverCallback,consumerTag->{});
}
}
public class receiveB {
//交换机名称
public static final String EXCHANGE_NAME="logs";
public static void main(String[] args) throws Exception{
Channel channe1 = RabbitMqUtils.getChanne1();
/**
* //定义一个交换机
* 1.交换机的名称
* 2.交换机的类型
*/
channe1.exchangeDeclare(EXCHANGE_NAME,"fanout");
/**
* 声明一个随机零时队列
* 当消费者断开与队列的连接,队列自动删除
* 并返回随机队列的名称
*/
String queueName = channe1.queueDeclare().getQueue();
/**
* 绑定交换机和队列
* 1.绑定队列的名称
* 2.绑定交换机的名称
* 3.绑定秘钥(我们设为空)
*/
channe1.queueBind(queueName,EXCHANGE_NAME,"");
System.out.println("等待消息接收....");
//接收消息回调
DeliverCallback deliverCallback=(tag, msg)->{
System.out.println("R_B接收的消息为:"+new String(msg.getBody(),"utf-8"));
};
//消息取消回调 我设为空方法体
channe1.basicConsume(queueName,true,deliverCallback,consumerTag->{});}
结果
对比之前的方式,在使用了交换机后并且设置了 fanout的类型,消费者不再是轮训接收消息。每个消息都会获取。
6.6 直接交换机 direct
public class sendDirect {
//交换机名称
public static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] args) throws Exception {
Channel channe1 = RabbitMqUtils.getChanne1();
/**
* //定义一个交换机
* 1.交换机的名称
* 2.交换机的类型
*/
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//控制台输入消息
System.out.println("输入发送的消息:");
Scanner scanner=new Scanner(System.in);
while (scanner.hasNext()){
System.out.println("输入绑定秘钥:");
Scanner exchangeType=new Scanner(System.in);//输入key
String msg = scanner.next();
/**
* 声明队列
* 1.交换机名称
* 2.绑定秘钥(我们设为空)
* 3.其他参数
* 4.发送消息内容
*/
channe1.basicPublish(EXCHANGE_NAME,exchangeType.next(),null,msg.getBytes("utf-8"));
System.out.println("生产者发布信息"+msg);
}
}
}
public class ReceiveLogsDirect01 {
public static final String EXCHANGE_NAME="direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channe1 = RabbitMqUtils.getChanne1();
//声明交换机 绑定类型DIRECT
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//声明队列
channe1.queueDeclare("c1",false,false,false,null);
//绑定秘钥 多重绑定方式 表示这个队列可以接受2个秘钥传输信息
channe1.queueBind("c1",EXCHANGE_NAME,"info");
channe1.queueBind("c1",EXCHANGE_NAME,"out");
//接收消息回调
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("c1接收消息:"+new String(msg.getBody(),"utf-8"));
};
channe1.basicConsume("c1",true,deliverCallback,tagN->{});
}
}
public class ReceiveLogsDirect02 {
public static final String EXCHANGE_NAME="direct_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channe1 = RabbitMqUtils.getChanne1();
//声明交换机 绑定类型
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
//声明队列
channe1.queueDeclare("c2",false,false,false,null);
//绑定秘钥info
channe1.queueBind("c2",EXCHANGE_NAME,"error");
//接收消息回调
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("c2接收消息:"+new String(msg.getBody(),"utf-8"));
};
channe1.basicConsume("c2",true,deliverCallback,tagN->{});
}
}
在对于c1队列的交换机我们设置多重绑定
6.7主题交换机介绍Topics
介绍:
在上一个小节中,我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是 使用了 direct 交换机,从而有能实现有选择性地接收日志。尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性-比方说我们想接收的日志类型有 info.base 和 info.advantage,某个队列只想 info.base 的消息,那这个时候 direct 就办不到了。这个时候 就只能使用 topic 类型
代码案例:
新建如下
public class sendTopic {
//交换机名称
public static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws Exception {
Channel channe1 = RabbitMqUtils.getChanne1();
/**
* //定义一个交换机
* 1.交换机的名称
* 2.交换机的类型
*/
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
//控制台输入消息
System.out.print("输入发送的消息:");
Scanner scanner=new Scanner(System.in);
while (scanner.hasNext()){
System.out.println("输入绑定秘钥:");
Scanner exchangeType=new Scanner(System.in);//输入key
String msg = scanner.next();
/**
* 声明队列
* 1.交换机名称
* 2.绑定秘钥(我们设为空)
* 3.其他参数
* 4.发送消息内容
*/
channe1.basicPublish(EXCHANGE_NAME,exchangeType.next(),null,msg.getBytes("utf-8"));
System.out.println("生产者发布信息"+msg);
}
}
}
public class R1 {
public static final String EXCHANGE_NAME="topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channe1 = RabbitMqUtils.getChanne1();
//声明交换机 名称和类型
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
//声明队列
String name="R1";
channe1.queueDeclare(name,false,false,false,null);
//队列交换机绑定
channe1.queueBind(name,EXCHANGE_NAME,"*.dfp.*");
System.out.println("等待消息接收");
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("接收的队列信息:"+new String(msg.getBody(),"utf-8")+"绑定的key"+msg.getEnvelope().getRoutingKey());
};
channe1.basicConsume(name,true,deliverCallback,message->{});
}
}
public class R2 {
public static final String EXCHANGE_NAME="topic_logs";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channe1 = RabbitMqUtils.getChanne1();
//声明交换机 名称和类型
channe1.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
//声明队列
String name="R2";
channe1.queueDeclare(name,false,false,false,null);
//队列交换机绑定
channe1.queueBind(name,EXCHANGE_NAME,"*.*.com");
channe1.queueBind(name,EXCHANGE_NAME,"www.#");
System.out.println("R2等待消息接收");
DeliverCallback deliverCallback=(tag, msg)->{
System.out.println("R2接收的队列信息:"+new String(msg.getBody(),"utf-8")+"绑定的key"+msg.getEnvelope().getRoutingKey());
};
channe1.basicConsume(name,true,deliverCallback,message->{});
}
}
这个类似于直接交换机但是命名更多样
结果
7.死信的概念
7.1时间过期死信代码演示
新建如下
正常的producer生产者程序,不同的是在C1设置 正常的接收程序和死信程序,C2直接定义一个接收死信的程序。
代码如下
/**
* 死信生产者
* 只需要向普通交换机发信息 发送到key=dfp的队列
*/
public class Producer {
private static final String NORMAL_EXCHANGE = "normal_exchange";
public static void main(String[] args) throws Exception{
Channel channel = RabbitMqUtils.getChanne1();
//设置死信消息 设置他的过期时间10s
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().expiration("10000").build();
for (int i = 0; i < 11; i++) {
String msg="info:"+i;
channel.basicPublish(NORMAL_EXCHANGE,"dfp",properties,msg.getBytes());//过期条件
// channel.basicPublish(NORMAL_EXCHANGE,"dfp",null,msg.getBytes());
}
}
}
public class Consumer01 {
//普通交换机
private static final String NORMAL_EXCHANGE = "normal_exchange";
//死信交换机
private static final String DEAD_EXCHANGE = "dead_exchange";
//普通队列
private static final String NORMAL_QUEUE="normal_queue";
//死信队列
private static final String DEAD_QUEUE = "dead_queue";
public static void main(String[] args) throws Exception{
Channel channel = RabbitMqUtils.getChanne1();
//声明交换机 类型都是直接类型
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);// //普通交换机
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT); //死信交换机
Map<String,Object> arguments=new HashMap<>();
/**
* 设置死信条件
*/
//正常队列设置死信交换机 参数 key 是固定值
arguments.put("x-dead-letter-exchange", DEAD_EXCHANGE);
//正常队列设置死信 routing-key 参数 key 是固定值
arguments.put("x-dead-letter-routing-key", "lisi");
//正常队列设置死信条件,队列最大容量是7 意味着超出7 的消息被认为死信
arguments.put("x-max-length", 7);
//声明队列 我们在其他参数要把死信条件注入进去,当我们在普通队列遇到死信添加的时候就会进行转发
channel.queueDeclare(NORMAL_QUEUE,false,false,false,arguments); //普通队列
channel.queueDeclare(DEAD_QUEUE,false,false,false,null); //死信队列
//交换机和队列绑定
//普通绑定 我们绑定 的key是自定义的dfp
channel.queueBind(NORMAL_QUEUE,NORMAL_EXCHANGE,"dfp");
//死信绑定 是固定的值 list
channel.queueBind(DEAD_QUEUE,DEAD_EXCHANGE,"lisi");
System.out.println("等待消息接收");
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("c01消息成功接收:"+new String(msg.getBody(),"utf-8"));
};
channel.basicConsume(NORMAL_QUEUE,true,deliverCallback,logo->{});
}
}
public class Consumer02 {
//死信队列
private static final String DEAD_QUEUE = "dead_queue";
public static void main(String[] args) throws Exception{
Channel channel = RabbitMqUtils.getChanne1();
System.out.println("等待消息接收");
DeliverCallback deliverCallback=(tag,msg)->{
System.out.println("c01消息成功接收:"+new String(msg.getBody(),"utf-8"));
};
channel.basicConsume(DEAD_QUEUE,true,deliverCallback,logo->{});
}
}
我们先启动c1程序初始化交换机和队列然后执行Producer和c2程序 等待10s后 ,Producer发送的消息没人接收但是我们只绑定了dfp的key但是程序可以向c2的死信队列进行转发读取
结果
7.2队列满死信代码演示
发送11条数据
我们在上述中设置了长度限制为7我们修改代码进行演示
结果只有0-3的数据进行死信接收了另外的7条在正常队列对接等待处理
消费者代码
设置i=2的消息,在消费者接收到的时候 拒绝接收并且不放回源队列
以上代码案例
8.0整合 springboot
8.1 延迟队列概念
8.2RabbitMQ 中的 TTL
设置消息的ttl
这个是针对单独的消息设置延迟消息,
设置队列的ttl
这个我们已经很收悉了我们只需要在 死信条件中设置 过期时间当过期时间到了就转发到目标队列
两者的区别
8.3 用脚手架初始化一个springboot工程
引入pom文件
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--swagger-->
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger2</artifactId>
<version>2.7.0</version>
</dependency>
<!--swagger ui-->
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger-ui</artifactId>
<version>2.7.0</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
<exclusions>
<exclusion>
<groupId>org.junit.vintage</groupId>
<artifactId>junit-vintage-engine</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.amqp</groupId>
<artifactId>spring-rabbit-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
</dependencies>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-dependencies</artifactId>
<version>${spring-boot.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.8.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<version>2.3.7.RELEASE</version>
<configuration>
<mainClass>com.dfp.rabbspring.RabbSpringApplication</mainClass>
</configuration>
<executions>
<execution>
<id>repackage</id>
<goals>
<goal>repackage</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
配置文件
# 应用名称
spring.application.name=rabb-spring
# 应用服务 WEB 访问端口
server.port=8080
#mysql配置信息
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/qingyi?characterEncoding=utf-8&useSSL=false
spring.datasource.username=root
spring.datasource.password=123456
#上传限制
spring.redis.lettuce.pool.max-idle=5
spring.redis.lettuce.pool.min-idle=0
spring.jackson.date-format=yyyy-MMM-dd HH:mm:ss
spring.jackson.time-zone=GMT+8
spring.rabbitmq.host=192.168.1.111
spring.rabbitmq.port=5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
我们新建如下文件的工程结构
Swagger2这里不详细介绍可以看我往期的文章
我们给队列QA 、QB设置过期时间,表示在这个队列中是固定的过期时间。
但是在Qc队列我们并没有设置过期时间,我要在发送消息的时候设置单独的过期时间
/**
* 配置信息 ,构建场景关系
*/
@Configuration
public class TtlQueueConfig {
public static final String X_EXCHANGE = "X";
public static final String QUEUE_A = "QA";
public static final String QUEUE_B = "QB";
public static final String Y_DEAD_LETTER_EXCHANGE = "Y";
public static final String DEAD_LETTER_QUEUE = "QD";
//设置优化队列
public static final String QUEUE_C="QC";
// 声明 xExchange
@Bean("xExchange")
public DirectExchange xExchange(){
return new DirectExchange(X_EXCHANGE);
}
// 声明 xExchange
@Bean("yExchange")
public DirectExchange yExchange(){
return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);
}
//声明队列 A ttl 为 10s 并绑定到对应的死信交换机
@Bean("queueA")
public Queue queueA(){
Map<String, Object> args = new HashMap<>(3);
//声明当前队列绑定的死信交换机
args.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由 key
args.put("x-dead-letter-routing-key", "YD");
//声明队列的 TTL
args.put("x-message-ttl", 10000);
return QueueBuilder.durable(QUEUE_A).withArguments(args).build();
}
// 声明队列 A 绑定 X 交换机
@Bean
public Binding queueaBindingX(@Qualifier("queueA") Queue queueA,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueA).to(xExchange).with("XA");
}
//声明队列 B ttl 为 40s 并绑定到对应的死信交换机
@Bean("queueB")
public Queue queueB(){
Map<String, Object> args = new HashMap<>(3);
//声明当前队列绑定的死信交换机
args.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由 key
args.put("x-dead-letter-routing-key", "YD");
//声明队列的 TTL
args.put("x-message-ttl", 40000);
return QueueBuilder.durable(QUEUE_B).withArguments(args).build();
}
//声明队列 B 绑定 X 交换机
@Bean
public Binding queuebBindingX(@Qualifier("queueB") Queue queueB,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueB).to(xExchange).with("XB");
}
//声明队列 c 并绑定到对应的死信交换机
@Bean("queueC")
public Queue queueC(){
Map<String, Object> args = new HashMap<>();
//声明当前队列绑定的死信交换机
args.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
//声明当前队列的死信路由 key
args.put("x-dead-letter-routing-key", "YD");
return QueueBuilder.durable(QUEUE_C).withArguments(args).build();
}
@Bean
public Binding queueCBindingX(@Qualifier("queueC")Queue queueC,
@Qualifier("xExchange") DirectExchange xExchange){
return BindingBuilder.bind(queueC).to(xExchange).with("XC");
}
//声明死信队列 QD
@Bean("queueD")
public Queue queueD(){
return new Queue(DEAD_LETTER_QUEUE);
}
//声明死信队列 QD 绑定关系
@Bean
public Binding deadLetterBindingQAD(@Qualifier("queueD") Queue queueD,
@Qualifier("yExchange") DirectExchange yExchange){
return BindingBuilder.bind(queueD).to(yExchange).with("YD");
} }
/**
* 消费者 队列ttl
*/
@Slf4j
@Component
public class DeadLetterQueueConsumer {
@RabbitListener(queues = "QD")
public void receiveD(Message message, Channel channel) throws IOException {
String msg = new String(message.getBody());
log.info("当前时间:{},收到死信队列信息{}", new Date().toString(), msg);
} }
/**
* 发送延迟消息
*/
@Slf4j
@RestController
@RequestMapping("/ttl")
public class sendController {
@Autowired
private RabbitTemplate rabbitTemplate ;
//发送消息
@GetMapping("/sendMsg/{msg}")
public void sendMsg(@PathVariable String msg){
log.info("当前时间:{},发送的一条信息给两个ttl队列:{}",new Date().toString(),msg);
//发送消息队列x绑定Akey
rabbitTemplate.convertAndSend("X","XA","来自消息队列10延迟的Qa队列"+msg);
//发送消息队列x绑定Bkey
/**
* 1.交换机
* 2.绑定秘钥
* 3.消息体
*/
rabbitTemplate.convertAndSend("X","XB","来自消息队列40延迟的Qb队列"+msg);
}
//开始发消息 内容和过期时间
@GetMapping("/sendMsgandtime/{msg}/{time}")
public void sendmsgandtime(@PathVariable String msg, @PathVariable String time){
log.info("当前时间:{},延迟了{}S,发送的一条信息给优化队列队列:{}",new Date().toString(),time,msg);
/**
* 1.交换机
* 2.绑定秘钥
* 3.消息体
* 4.设置条件
*/
rabbitTemplate.convertAndSend("X","XC",msg,param->{
param.getMessageProperties().setExpiration(time);
return param;
});
}
}
第一个生产者结果
第二个生产者结果
但是我们在使用第二个生产者发送消息的时候发现了一个问题
第一个队列的延迟时间是大于第二个队列的延迟时间
按照时间来比我们应该先打印第二个消息的信息但是这里是先打印第一个消息的信息
为什么是这样的呢 ,因为这个队列就好像上高速一样但是这个高速只有一个车道 先过收费站的消息一在消息二之前。即使消息二的速度快也得跟着消息一的之后才能抵达目的地
8.3.1 安装mq延迟队列插件
为了解决是上述问题我们要在rabbitmq的服务器上装一个插件
Releases · rabbitmq/rabbitmq-delayed-message-exchange · GitHub
进入官网
下载插件安装包
使用远程连接工具 链接我们的虚拟机
我们将下载的插件安装包复制到这个文件夹下(新建的)
在控制台进入这个文件夹
输入命令
[root@localhost Rabbitmq]# docker cp rabbitmq_delayed_message_exchange-3.9.0.ez 660c330bfd96:/plugins
[root@localhost Rabbitmq]# docker exec -it rabbitmq /bin/bash
root@660c330bfd96:/# cd plugins
root@660c330bfd96:/plugins# ls
root@660c330bfd96:/plugins# rabbitmq-plugins enable rabbitmq_delayed_message_exchange
可以做到如下步骤表示安装成功
8.3.2 延迟队列代码实现
新建一个配置文件
@Component
public class DelayedQueueConfig {
//延迟队列
public static final String DELAYED_QUEUE_NAME="delayed.queue";
//延迟交换机
public static final String DELAYED_EXCHANGE_NAME="delayed.exchange";
//绑定秘钥
public static final String DELAYED_ROUTING_KEY="delayed.routingkey";
/**
* 设置自定义交换机
* 用到插件带的交换机类型 x-delayed-message
* 区别之前的DirectExchange
*/
@Bean
public CustomExchange delayedE(){
Map<String,Object>args=new HashMap<>();
//可以给我们的延迟交换机设置类型 因为我们的路由是固定的
// 这里要区分 初始化化交换机的类型
args.put("x-delayed-type", "direct");
/**
* 初始化延迟交换机
* 1.交换机名称
* 2.交换机类型
* 3.是否持久化
* 4.是否自动删除
* 5.其他参数
*/
return new CustomExchange(DELAYED_QUEUE_NAME,"x-delayed-message",true,false,args);
}
/**
* 实例化延迟队列
*/
@Bean
public Queue delayedQueue(){
return new Queue(DELAYED_EXCHANGE_NAME);
}
//交换机和队列进行绑定
@Bean
public Binding bindingDqAndDE(@Qualifier("delayedE") CustomExchange delayedE,
@Qualifier("delayedQueue")Queue delayedQueue){
/**
* 绑定队列
* 绑定交换机
* 设置key
*/
return BindingBuilder
.bind(delayedQueue)
.to(delayedE)
.with(DELAYED_ROUTING_KEY).noargs();
}
}
新建延迟队列消费者
@Slf4j
@Component
public class DelayedConsumer {
@RabbitListener(queues = DelayedQueueConfig.DELAYED_QUEUE_NAME)//绑定要监听的队列
public void receiveQ(Message message){
String msg = new String(message.getBody());
log.info("当前时间:{},收到延时队列的消息:{}", new Date().toString(), msg);
}
}
@GetMapping("/senddelayed/{msg}/{time}")
public void sendDelayed(@PathVariable String msg, @PathVariable Integer time){
log.info("当前时间:{},延迟了{}S,发送的一条信息给插件延迟队列:{}",new Date().toString(),time,msg);
rabbitTemplate.convertAndSend(
DelayedQueueConfig.DELAYED_EXCHANGE_NAME,
DelayedQueueConfig.DELAYED_ROUTING_KEY,
msg,
param->{
param.getMessageProperties().setDelay(time);
return param;
});
}
我们也是要在发送的时候给消息设置延迟时间
这次我们的速度快的消息可以实现先到达的目的
9.发布确认高级
在前面的内容中介绍了,消息应答机制来识别消息是否正确的送达和识别是否丢失。但是 在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败, 导致消息丢失,需要手动处理和恢复。于是,我们开始思考,如何才能进行 RabbitMQ 的消息可靠投递呢? 特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢。
在生产者发送的时候回先把消息进行缓存。
9.1 代码演示
这次演示的架构图
我们构建一个交换机和一个队列进行演示,绑定的秘钥为key1
/**
* 高级确认发布应答
*/
@Configuration
public class ConfirmConfig {
public static final String CONFIRM_EXCHANGE_NAME = "confirm.exchange";
public static final String CONFIRM_QUEUE_NAME = "confirm.queue";
public static final String CONFIRM_KEY="key1";
//声明业务 Exchange
@Bean
public DirectExchange confirmExchange(){
return new DirectExchange(CONFIRM_EXCHANGE_NAME);
}
// 声明确认队列
@Bean
public Queue confirmQueue(){
return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build();
}
// 声明确认队列绑定关系
@Bean
public Binding queueBinding(@Qualifier("confirmQueue") Queue queue,
@Qualifier("confirmExchange") DirectExchange exchange){
return BindingBuilder.bind(queue).to(exchange).with(CONFIRM_KEY);
}
}
创建消费者
/**
* 高级应答监听器(消费者)
*/
@Slf4j
@Component
public class ConfirmConsumer {
@RabbitListener(queues = ConfirmConfig.CONFIRM_QUEUE_NAME)
public void receiveMsg(Message msg){
String mesage = new String(msg.getBody());
log.info("接收到队列{}的消息是:{}",ConfirmConfig.CONFIRM_QUEUE_NAME,mesage);
}
}
创建回调信息
/**
* 消息接收回调接口
*
*/
@Component
@Slf4j
public class MyCallBack implements RabbitTemplate.ConfirmCallback {
/**
* 交换机不管是否收到消息的一个回调方法
* CorrelationData ->来自生产者发送的内容
* 消息相关数据
* ack
* 交换机是否收到消息
*/
@Override
public void confirm(CorrelationData correlationData, boolean ack, String cause) {
String id=correlationData!=null?correlationData.getId():"";
if (ack){
log.info("交换机收到id为:{}的消息",id);
}else {
log.info("交换机没有收到id为:{}的消息,因为{}!!!",id,cause);
}
}
}
创建生产者
@RestController
@RequestMapping("/ttl/confirm")
@Slf4j
public class producerConfirm {
@Autowired
private RabbitTemplate rabbitTemplate;
@Autowired
private MyCallBack myCallBack;
//依赖注入 rabbitTemplate 之后再设置它的回调对象
@PostConstruct
public void init(){
rabbitTemplate.setConfirmCallback(myCallBack);
}
@GetMapping("sendMessage/{message}")
public void sendMessage(@PathVariable String message){
//设置第一个消息内容 key1
CorrelationData c1=new CorrelationData("1");
rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME,
ConfirmConfig.CONFIRM_KEY,
message,
c1);
log.info("发送id为1消息内容:{}",message);
//设置第二个消息内容 交换机设置为dfp
CorrelationData c2=new CorrelationData("2");
rabbitTemplate.convertAndSend("dfp",
ConfirmConfig.CONFIRM_KEY,
message,
c2);
log.info("发送为2消息内容:{}",message);
}
}
为了区分测试我们设置如下
意思就是我们发送id为2的消息是没人接收 的
测试结果
id1的消息正常
我们思考另一个问题,加入交换机没有问题,是队列出现的问题是什么情况,添加如下,
结果
结果只有id1的消息在消费者处进行打印,但是对比id2,id3的消息呗交换机的回调认为是接收到了信息。
为了解决以上的问题我们需要设置消息回调
添加
结果
对于id3的消息我们的交换机回调应答成功,但是会被我们的消息未送达捕捉并且回调信息
9.2 备份交换机
对于上述的问题,我们无法接受路由错误和交换机错误的消息,但是在上述的案例中我们没有对消息进行进一步处理只是做了消息的提示和回调,接下来的案例就是优化上述问题对无法被消费者消费的消息进行处理。具体的方案是放到备份交换机进行发送转发
架构图
在上一个案例上进行修改 添加了一个备份消费者和报警消费者,对于无法进行正常消费的消息我们转发到报警消费者进行一个提示 注意我们备份交换机的类型
代码修改
添加报警消费者
在配置类添加 备份交换机、备份队列、报警队列和绑定关系
生产者发送的消息和上一个案例一样
我们发现 id2的消息正常退回但是id3的消息进入了交换机但是转入到备份交换机给报警队列消费了。并且是不会给消息未送达回调捕捉。
因为id2的消息是没有进入交换机的消息所以也不能进行转发到备份交换机
10.幂等性
10.1概念
用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。 举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常, 此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额发现多扣钱 了,流水记录也变成了两条。在以前的单应用系统中,我们只需要把数据操作放入事务中即可,发生错误 立即回滚,但是再响应客户端的时候也有可能出现网络中断或者异常等等
10.2. 消息重复消费
消费者在消费 MQ 中的消息时,MQ 已把消息发送给消费者,消费者在给 MQ 返回 ack 时网络中断, 故 MQ 未收到确认信息,该条消息会重新发给其他的消费者,或者在网络重连后再次发送给该消费者,但 实际上该消费者已成功消费了该条消息,造成消费者消费了重复的消息。
10.3. 解决思路
MQ 消费者的幂等性的解决一般使用全局 ID 或者写个唯一标识比如时间戳 或者 UUID 或者订单消费 者消费 MQ 中的消息也可利用 MQ 的该 id 来判断,或者可按自己的规则生成一个全局唯一 id,每次消费消 息时用该 id 先判断该消息是否已消费过。
10.4. 消费端的幂等性保障
在海量订单生成的业务高峰期,生产端有可能就会重复发生了消息,这时候消费端就要实现幂等性, 这就意味着我们的消息永远不会被消费多次,即使我们收到了一样的消息。业界主流的幂等性有两种操作:a. 唯一 ID+指纹码机制,利用数据库主键去重, b.利用 redis 的原子性去实现
10.5. 唯一 ID+指纹码机制
指纹码:我们的一些规则或者时间戳加别的服务给到的唯一信息码,它并不一定是我们系统生成的,基 本都是由我们的业务规则拼接而来,但是一定要保证唯一性,然后就利用查询语句进行判断这个 id 是否存 在数据库中,优势就是实现简单就一个拼接,然后查询判断是否重复;劣势就是在高并发时,如果是单个数 据库就会有写入性能瓶颈当然也可以采用分库分表提升性能,但也不是我们最推荐的方式。
10.6. Redis 原子性
利用 redis 执行 setnx 命令,天然具有幂等性。从而实现不重复消费
11 优先级队列
- 控制台创建
点击这个会自动补充 arguments的key 这个key也是我们代码实现需要用的
- 队列中代码添加优先级
新建代码
/**
* 优先级队列的生产者
*/
public class Producer {
private static final String QUEUE_NAME="hello";
public static void main(String[] args) throws Exception {
try (Channel channel = RabbitMqUtils.getChanne1();) {
//给消息赋予一个 priority 属性
//我们规定我们的优先级队列处理0-10级的优先,这样我们的队列只能处理10级以下的优先级消息
AMQP.BasicProperties properties=
new AMQP.BasicProperties().builder().priority(10).build();
for (int i = 1; i <11; i++) {
String message = "info"+i;
if(i==5){
//我们认为规定i5 是需要设置优先级的 我们要把优先级注入到参数中 使用默认的交换机
channel.basicPublish("", QUEUE_NAME, properties, message.getBytes());
}else{
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
}
System.out.println("发送消息完成:" + message);
}
}
}
}
/**
* 优先级队列的 消费者
*/
public class Consumer {
private static final String QUEUE_NAME="hello";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMqUtils.getChanne1();
//设置队列的最大优先级 最大可以设置到 255 官网推荐 1-10 如果设置太高比较吃内存和 CPU
Map<String, Object> params = new HashMap();
/**
* 设置 优先级队里的最大等级
* 生产者和消费者都需要设置
* 注入信道的其他参数中
*/
params.put("x-max-priority", 10);
channel.queueDeclare(QUEUE_NAME, true, false, false, params);
System.out.println("消费者启动等待消费......");
DeliverCallback deliverCallback=(consumerTag, delivery)->{
String receivedMessage = new String(delivery.getBody());
System.out.println("接收到消息:"+receivedMessage);
};
channel.basicConsume(QUEUE_NAME,true,deliverCallback,(consumerTag)->{
System.out.println("消费者无法消费消息时调用,如队列被删除");
});
}
}
我们发现i5先打印了因为他的优先级最高
12.懒惰队列
使用场景
RabbitMQ 从 3.6.0 版本开始引入了惰性队列的概念。惰性队列会尽可能的将消息存入磁盘中,而在消 费者消费到相应的消息时才会被加载到内存中,它的一个重要的设计目标是能够支持更长的队列,即支持 更多的消息存储。当消费者由于各种各样的原因(比如消费者下线、宕机亦或者是由于维护而关闭等)而致 使长时间内不能消费消息造成堆积时,惰性队列就很有必要了。
默认情况下,当生产者将消息发送到 RabbitMQ 的时候,队列中的消息会尽可能的存储在内存之中,这样可以更加快速的将消息发送给消费者。即使是持久化的消息,在被写入磁盘的同时也会在内存中驻留 一份备份。当 RabbitMQ 需要释放内存的时候,会将内存中的消息换页至磁盘中,这个操作会耗费较长的 时间,也会阻塞队列的操作,进而无法接收新的消息。虽然 RabbitMQ 的开发者们一直在升级相关的算法, 但是效果始终不太理想,尤其是在消息量特别大的时候
简单点的理解我打个比方:就好像有一批货要出厂了但是联系不到货主了,但是公司需要继续生产其他产品所以吧这批货放到仓库,不让这批找不到货主的货占用生产线。等到货主能联系了重新从仓库发货,当然会比较慢但是不至于丢失。
两种模式
队列具备两种模式:default 和 lazy。默认的为 default 模式,在 3.6.0 之前的版本无需做任何变更。lazy 模式即为惰性队列的模式,可以通过调用 channel.queueDeclare 方法的时候在参数中设置,也可以通过 Policy 的方式设置,如果一个队列同时使用这两种方式设置的话,那么 Policy 的方式具备更高的优先级。 如果要通过声明的方式改变已有队列的模式的话,那么只能先删除队列,然后再重新声明一个新的。 在队列声明的时候可以通过“x-queue-mode”参数来设置队列的模式,取值为“default”和“lazy”。下面示 例中演示了一个惰性队列的声明细节:
- 代码声明
Map args = new HashMap(); args.put("x-queue-mode", "lazy"); channel.queueDeclare("myqueue", false, false, false, args);
- 控制台声明