1、认识MQ
1.1、什么是MQ?
MQ全称:message queue 即 消息队列
这个队列遵循的原则:FIFO 即 先进先出
队列里面存的就是message
1.2、为什么要用MQ?
1.2.1、流量削峰
这种情况,要是访问 1020次 / s呢?这种肯定会让支付系统宕机了,因为太大了嘛,受不了,所以:流量削峰
这样就让message排着队了,然后使用FIFO先进先出,这样支付系统就可以承受得了了
1.2.2、应用解耦
上面这种,只要支付系统或库存系统其中一个挂彩了,那么订单系统也要挂彩,因此:解耦呗
而采用了MQ之后,支付系统和库存系统有一个出问题,那么它的处理内存是在MQ中的,此时订单系统就不会有影响,可以正常完成,等到故障恢复了,订单系统再处理对应的事情,这就提高了系统的可用性
1.2.3、异步处理
如上图,订单系统要调用支付系统的API,而订单系统并不知道支付系统处理对应的业务需要多久,要解决可以采用订单系统隔一定时间又去访问支付系统,看处理完没有,而使用MQ更容易解决。
1.3、RabbitMQ的原理?
图中的东西后续会慢慢见到
Broker实体:接收和分发消息的应用 / RabbitMQ Server / Message Broker
而上图中RabbitMQ的四个核心就是:Producer生产者、exchange交换机、queue队列、Consumer消费者
Producer生产者:就是负责推送消息的程序
Exchange交换机:接收来自生产者的消息,并且把消息放到队列中
queue队列:就是一个数据结构,本质就是一个很大的消息缓冲区,许多生产者可以把消息推送到一个队列,许多消费者可以从一个队列中获得数据
Consumer消费者:就是接收消息的程序
注意:生产者、消息中间件MQ、消费者大多时候并不是在同一台机器上的,所以:生产者有时可以是消费者;而消费者有时也可以是生产者
Connection链接:就是让Producer生产者、Broker实体、Consumer消费者之间建立TCP链接
Virtual host虚拟机:处于多租户和安全因素考虑而设计的,当多个不同的用户使用同一个 RabbitMQ server 提供的服务时,可以划分出多个 vhost,每个用户在自己的 vhost 创建 exchange/queue 等
Channel信道:就是发消息的通道,它是在Connection内部建立的逻辑连接
Routes路由策略 / binding绑定:交换机以什么样的策略将消息发布到Queue。也就是exchange交换机 和 queue队列之间的联系,即 二者之间的虚拟连接,它里面可以包含routing key 路由键
1.4、RabbitMQ的通讯方式
这个玩意儿在官网中有图,地址:https://www.rabbitmq.com/getstarted.html 学完之后这张图最好放在自己脑海里,平时开发玩的就是这些,下面的工作模式在后续会慢慢接触
另外:下面放的是七种,实质上第六种RPC用得很少
1、hello word - 简单模式
2、work queues - 工作模式
3、publish / subscribe - 发布订阅模式
4、Routing - 路由模式
5、Topics - 主题模式
6、RPC模式 - 不用了解也行
7、publisher confirms - 发布确认模式
2、安装RabbitMQ
以下的方式自行选择一种即可
2.1、在Centos 7下安装
查看自己的Linux版本
uname -a
2.1.1、使用rpm红帽软件
准备工作
1、下载Erlang,因为:RabbitMQ是Erlang语言写的,Erlang下载地址【 ps:这是官网 】:https://www.erlang.org/downloads,选择自己要的版本即可
另外:RabbitMQ和Erlang的版本对应关系链接地址 https://www.rabbitmq.com/which-erlang.html
当然:上面这种是下载gz压缩包,配置挺烦的,可以直接去github中下载rpm文件,地址:https://github.com/rabbitmq/erlang-rpm/releases , 选择自己需要的版本即可,注意一个问题:要看是基于什么Linux的版本
要是github下载慢的话,都有自己的文明上网加速方式,要是没有的话,可以进入 https://github.com/fhefh2015/Fast-GitHub 下载好了然后集成到自己浏览器的扩展程序中即可,而如果进入github很慢的话,可以选择去gitee中搜索一个叫做:dev-sidecar的东西安装,这样以后进入github就很快了,还有另外的很多方式,不介绍了。
2、执行rpm -ivh erlang文件 命令
i 就是 install的意思
vh 就是显示安装进度条
注意:需要保证自己的Linux中有rpm命令,没有的话,执行yum install rpm指令即可安装rpm
3、安装RabbitMQ需要的依赖环境
yum install socat -y
4、下载RabbitMQ的rpm文件,github地址:https://github.com/rabbitmq/rabbitmq-server/releases , 选择自己要的版本即可
5、安装RabbitMQ
6、启动RabbitMQ服务
启动服务
sbin/service rabbitmq-server start
停止服务
/sbin/service rabbitmq-server stop
查看启动状态
/sbin/service rabbitmq-server status
开启开机自动
chkconfig rabbitmq-server on
查看启动状态
这表示正在启动,需要等一会儿,看到下面的样子就表示启动成功
7、安装web管理插件
1、停止RabbitMQ服务
service rabbitmq-server stop // 使用上面的命令 /sbin/service rabbitmq-server stop也行
2、安装插件
rabbitmq-plugins enable rabbitmq_management
3、开启RabbitMQ服务
service rabbitmq-server start
要是访问不了,看看自己的防火墙关没关啊
查看防火墙状态
systemctl status firewalld
关闭防火墙
systemctl stop firewalld
一劳永逸 禁用防火墙
systemctl enable firewalld
同时查看自己的服务器有没有开放15672端口,不同的东西有不同的处理方式,如我的云服务器直接在服务器网址中添加规则即可,其他的方式自行百度
2.1.2、使用Docker安装
需要保证自己的Linux中有Docker容器,教程链接:https://www.cnblogs.com/xiegongzi/p/15621992.html
使用下面的两种方式都不需要进行web管理插件的安装和erlang的安装
1、查看自己的docker容器中是否已有了rabbitmq这个名字的镜像
docker images
删除镜像
docker rmi 镜像ID // 如上例的 dockerrmi 16c 即可删除镜像
2、拉取RabbitMQ镜像 并 启动Docker容器
docker run -it --rm --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3.9-management
3、查看Docker容器是否启动
docker ps
4、再次在浏览器进行访问就可以吃鸡了,不需要再安装插件啊,刚刚上一步拉镜像和启动时已经安装好了
2.1.3、使用Docker-compose安装
采用了第二种方式的话,记得把已经启动的Docker容器关了,以下是附加的一些Docker的基操
拉取镜像
docker pull 镜像名称
查看全部镜像
docker images
删除镜像
docker rmi 镜像ID
将本地的镜像导出
docker save -o 导出的路径 镜像id
加载本地的镜像文件
docker load -i 镜像文件
修改镜像名称
docker tag 镜像id 新镜像名称:版本
简单运行操作
docker run 镜像ID | 镜像名称
跟参数的运行
docker run -d -p 宿主机端口:容器端口 --name 容器名称 镜像ID | 镜像名称
如:docker run -d -p 8081:8080 --name tomcat b8
-d:代表后台运行容器
-p 宿主机端口:容器端口:为了映射当前Linux的端口和容器的端口
–name 容器名称:指定容器的名称
查看运行的容器
docker ps [-qa]
-a:查看全部的容器,包括没有运行
-q:只查看容器的标识
查看日志
docker logs -f 容器id
-f:可以滚动查看日志的最后几行
进入容器内部
docker exec -it 容器id bash
退出容器:exit
将宿主机的文件复制到容器内部的指定目录
docker cp 文件名称 容器id:容器内部路径
docker cp index.html 982:/usr/local/tomcat/webapps/ROOT
=====================================================================
重新启动容器
docker restart 容器id
启动停止运行的容器
docker start 容器id
停止指定的容器(删除容器前,需要先停止容器)
docker stop 容器id
停止全部容器
docker stop $(docker ps -qa)
删除指定容器
docker rm 容器id
删除全部容器
docker rm $(docker ps -qa)
1、创建一个文件夹,这些我很早之前就玩过了,所以建好了的
# 创建文件夹
mkdir 文件夹名
2、进入文件夹,创建docker-compose.yml文件,注意:文件名必须是这个
# 创建文件
touch docker-compose.yml
3、编辑docker-compose.yml文件
# 编辑文件
vim docker-compose.yml
里面编写的内容如下,编写好保存即可。注意:别用tab缩进啊,会出问题的,另外:每句的后面别有空格,严格遵循yml格式的
version: “3.1”
services:
rabbitmq:
镜像
image: rabbitmq:3.9-management
自启
restart: always
Docker容器名
container_name: rabbitmq
端口号,docker容器内部端口 映射 外部端口
ports:
- 5672:5672
- 15672:15672
数据卷映射 把容器里面的东西映射到容器外面去 容易操作,否则每次都要进入容器
volumes:
- ./data:/opt/install/rabbitMQ-docker/
4、在docker-compose.yml所在路径执行如下命令,注意:一定要在此文件路径中才行,因为默认是在当前文件夹下找寻docker-compose文件
启动
docker-compose up -d
-d 后台启动
=========================================================
附加内容:docker-compose的一些命令操作
1. 基于docker-compose.yml启动管理的容器
docker-compose up -d
2. 关闭并删除容器
docker-compose down
3. 开启|关闭|重启已经存在的由docker-compose维护的容器
docker-compose start|stop|restart
4. 查看由docker-compose管理的容器
docker-compose ps
5. 查看日志
docker-compose logs -f
有兴趣的也可以去了解docker-file自定义镜像
去浏览器访问一样的吃鸡
上面就是RabbitMQ的基操做完了,不过默认账号是guest游客状态,很多事情还做不了呢,所以还得做一些操作
2.1.4、解决不能登入web管理界面的问题
2.1.4.1、使用rpm红帽软件安装的RabbitMQ
这种方式直接使用guest进行登录是不得吃的
这是因为guest是游客身份,不能进入,需要添加新用户
查看当前用户 / 角色有哪些
rabbitmqctl list_users
删除用户
rabbitmqctl delete_user 用户名
添加用户
rabbitmqctl add_user 用户名 密码
设置用户角色
rabbitmqctl set_user_tags 用户名 administrator
设置用户权限【 ps:guest角色就是没有这一步 】
rabbitmqctl set_permissions -p "/" 用户名 ".*" ".*" ".*"
设置用户权限指令解释
set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
现在使用admin去浏览器登录就可以了
2.1.4.2、使用docker 或 docker-compose安装的RabbitMQ
这两种方式直接使用guest就可以进行登录,后续的操作就是一样的了
3、开始玩RabbitMQ
创建Maven项目 并导入如下依赖
com.rabbitmq
amqp-client
5.9.0
回到前面的RabbitMQ原理图
3.1、Hello word 简单模式
对照原理图来玩,官网中有Hello word的模式图
即:一个生产者Producer、一个默认交换机Exchange、一个队列queue、一个消费者Consumer
生产者
就是下图前面部分
package cn.zixieqing;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class Producer {
private static final String HOST = "ip"; // 放RabbitMQ服务的服务器ip
private static final int PORT = 5672; // 服务器中RabbitMQ的端口号,在浏览器用的15672是通过5672映射出来的15672
private static final String USER_NAME = "admin";
private static final String PASSWORD = "admin";
private static final String QUEUE_NAME = "hello word";
public static void main(String[] args) throws IOException, TimeoutException {
// 1、获取链接工厂
ConnectionFactory factory = new ConnectionFactory();
// 2、设置链接信息
factory.setHost(HOST);
factory.setPort(PORT);
factory.setUsername(USER_NAME);
factory.setPassword(PASSWORD);
/*
当然:这里还可以设置vhost虚拟机 - 前提是自己在web管理界面中添加了vhost
factory.setVirtualHost();
*/
// 3、获取链接Connection
Connection connection = factory.newConnection();
// 4、创建channel信道 - 它才是去和交换机 / 队列打交道的
Channel channel = connection.createChannel();
// 5、准备一个队列queue
// 这里理论上是去和exchange打交道,但是:这里是hello word简单模式,所以直接使用默认的exchange即可
/*
下面这是参数的完整意思,源码中偷懒了,没有见名知意
queueDeclare( queueName,isPersist,isShare,isAutoDelete,properties )
参数1、队列名字
参数2、是否持久化( 保存到磁盘 ),默认是在内存中的
参数3、是否共享,即:是否只供一个消费者消费,是否让多个消费者共享这个队列中的信息
参数4、是否自动删除,即:最后一个消费者获取信息之后,这个队列是否自动删除
参数5、其他配置项,这涉及到后面的知识,目前选择null
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
System.out.println("正在发送信息!!!");
// 6、推送信息到队列中
// 准备发送的信息内容
String message = "it is hello word";
/*
basicPublish( exchangeName,queueName,properties,message )
参数1、交互机名字 - 目前使用了默认的
参数2、指定路由规则 - 目前使用队列名字
参数3、指定传递的消息所携带的properties
参数4、推送的具体消息 - byte类型的
*/
channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
// 7、释放资源 - 倒着关闭即可
if ( null != channel ) channel.close();
if ( null != connection ) connection.close();
System.out.println("消息发送完毕");
}
}
运行之后,去浏览器管理界面进行查看
消费者
public class Consumer {
private static final String HOST = "ip"; // 自己的服务器ip
private static final int PORT = 5672;
private static final String USER_NAME = "admin";
private static final String PASSWORD = "admin";
private static final String QUEUE_NAME = "hello word";
public static void main(String[] args) throws IOException, TimeoutException {
// 1、创建链接工厂
ConnectionFactory factory = new ConnectionFactory();
// 2、设置链接信息
factory.setHost(HOST);
factory.setPort(PORT);
factory.setUsername(USER_NAME);
factory.setPassword(PASSWORD);
// 3、创建链接对象
Connection connection = factory.newConnection();
// 4、创建信道channel
Channel channel = connection.createChannel();
// 5、从指定队列中获取消息
/*
basicConsume( queueName,isAutoAnswer,deliverCallback,cancelCallback )
参数1、队列名
参数2、是否自动应答,为true时,消费者接收到消息后,会立即告诉RabbitMQ
参数3、消费者如何消费消息的回调
参数4、消费者取消消费的回调
*/
System.out.println("开始接收消息!!!");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("接收到了消息:" + new String(message.getBody(), StandardCharsets.UTF_8) );
};
CancelCallback cancelCallback = consumerTag -> System.out.println("消费者取消了消费信息行为");
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
// 6、释放资源 - 但是这里不能直接关闭啊,否则:看不到接收的结果的,可以选择不关,也可以选择加一句代码System.in.read();
// channel.close();
// connection.close();
}
}
3.2、work queue工作队列模式
流程图就是官网中的
一个生产者批量生产消息
一个默认交换机
一个队列
多个消费者
换言之:就是有大量的任务 / 密集型任务有待处理( 生产者生产的消息 ),此时我们就将这些任务推到队列中去,然后使用多个工作线程( 消费者 )来进行处理,否则:一堆任务直接就跑来了,那消费者不得乱套了,因此:这种就需要让这种模式具有如下的特点:
1、消息是有序排好的( 也就是在队列中 )
2、工作线程 / 消费者不能同时接收同一个消息,换言之:生产者推送的任务必须是轮询分发的,即:工作线程1接收第一个,工作线程2接收第二个;工作线程1再接收第三个,工作线程2接收第四个
抽取RabbitMQ链接的工具类
package cn.zixieqing.util;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
public class MQUtil {
private static final String HOST = "自己的ip";
private static final int PORT = 5672;
private static final String USER_NAME = "admin";
private static final String PASSWORD = "admin";
public static Channel getChannel(String vHost ) throws IOException, TimeoutException {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost(HOST);
factory.setPort(PORT);
factory.setUsername(USER_NAME);
factory.setPassword(PASSWORD);
if ( !vHost.isEmpty() ) factory.setVirtualHost(vHost);
return factory.newConnection().createChannel();
}
}
生产者
和hello word没什么两样
package cn.zixieqing.workqueue;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class WorkProducer {
private static final String QUEUE_NAME = "work queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 1、声明队列
/*
下面这是参数的完整意思,源码中偷懒了,没有见名知意
queueDeclare( queueName,isPersist,isShare,isAutoDelete,properties )
参数1、队列名字
参数2、是否持久化( 保存到磁盘 ),默认是在内存中的
参数3、是否共享,即:是否只供一个消费者消费,是否让多个消费者共享这个队列中的信息
参数4、是否自动删除,即:最后一个消费者获取信息之后,这个队列是否自动删除
参数5、其他配置项,这涉及到后面的知识,目前选择null
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 2、准备消息
System.out.println("请输入要推送的信息,按回车确认:");
Scanner input = new Scanner(System.in);
// 3、推送信息到队列中
while (input.hasNext()) {
/*
basicPublish( exchangeName,routing key,properties,message )
参数1、交互机名字 - 目前是使用了默认的
参数2、指定路由规则 - 目前使用队列名字
参数3、指定传递的消息所携带的properties
参数4、推送的具体消息 - byte类型的
*/
String message = input.next();
channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
System.out.println("消息====>" + message + "====>推送完毕!");
}
}
}
消费者
消费者01
package cn.zixieqing.workqueue;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class WorkConsumer {
private static final String QUEUE_NAME = "work queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("接收到了消息====>" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println( consumerTag + "消费者中断了接收消息====>" );
};
System.out.println("消费者01正在接收消息......");
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
}
}
消费者02
package cn.zixieqing.workqueue;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class WorkConsumer {
private static final String QUEUE_NAME = "work queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
DeliverCallback deliverCallback = (consumerTag, message) -> {
System.out.println("接收到了消息====>" + new String(message.getBody(), StandardCharsets.UTF_8));
};
CancelCallback cancelCallback = consumerTag -> {
System.out.println( consumerTag + "消费者中断了接收消息====>" );
};
System.out.println("消费者02正在接收消息......");
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
}
}
3.3、消息应答机制
消费者在接收到消息并且处理该消息之后,告诉 rabbitmq 它已经处理了,rabbitmq 可以把该消息删除了
目的就是为了保证数据的安全,如果没有这个机制的话,那么就会造成下面的情况
消费者接收队列中的消息时,没接收完,出现异常了,然后此时MQ以为消费者已经把消息接收并处理了( MQ并没有接收到消息有没有被消费者处理完毕 ),然后MQ就把队列 / 消息给删了,后续消费者异常恢复之后再次接收消息,就会出现:接收不到了
3.3.1、消息应答机制的分类
这个东西已经见过了
/*
basicConsume( queueName,isAutoAnswer,deliverCallback,cancelCallback )
参数1、队列名
参数2、是否自动应答,为true时,消费者接收到消息后,会立即告诉RabbitMQ
参数3、消费者如何消费消息的回调
参数4、消费者取消消费的回调
*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
3.3.1.1、自动应答
指的是:消息发送后立即被认为已经传送成功
需要具备的条件:
1、发送的消息很多,就是高吞吐量的那种
2、发送的消息在传输方面是安全的
优点:处理效率快,很高效
3.3.1.2、手动应答
就是我们自己去设定,好处是可以批量应答并且减少网络拥堵
调用的API如下:
Channel.basicACK( long, boolean ); // 用于肯定确认,即:MQ已知道该消息 并且 该消息已经成功被处理了,所以MQ可以将其丢弃了
Channel.basicNack( long, boolena, boolean ); // 用于否定确认
Channel.basicReject( long, boolea ); // 用于否定确认
与Channel.basicNack( long, boolena, boolean )相比,少了一个参数,这个参数名字叫做:multiple
multiple参数说明,它为true和false有着截然不同的意义【 ps:建议弄成false,虽然是挨个去处理,从而应答,效率慢,但是:数据安全,否则:很大可能造成数据丢失 】
true 代表批量应答MQ,channel 上未应答 / 消费者未被处理完毕的消息
false 只会处理队列放到channel信道中当前正在处理的消息告知MQ是否确认应答 / 消费者处理完毕了
3.3.1.3、消息重新入队原理
指的是:如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或 TCP 连接丢失),导致消息未发送 ACK 确认,RabbitMQ 将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确保不会丢失任何消息
如下图:消息1原本是C1这个消费者来接收的,但是C1失去链接了,而C2消费者并没有断开链接,所以:最后MQ将消息重新入队queue,然后让C2来处理消息1
3.3.1.4、手动应答的代码演示
生产者
package cn.zixieqing.ACK;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class AckProducer {
private static final String QUEUE_NAME = "ack queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 声明队列
/*
下面这是参数的完整意思,源码中偷懒了,没有见名知意
queueDeclare( queueName,isPersist,isShare,isAutoDelete,properties )
参数1、队列名字
参数2、是否持久化( 保存到磁盘 ),默认是在内存中的
参数3、是否共享,即:是否只供一个消费者消费,是否让多个消费者共享这个队列中的信息
参数4、是否自动删除,即:最后一个消费者获取信息之后,这个队列是否自动删除
参数5、其他配置项,这涉及到后面的知识,目前选择null
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
System.out.println("请输入要推送的消息:");
Scanner input = new Scanner(System.in);
while (input.hasNext()) {
/*
basicPublish( exchangeName,routing key,properties,message )
参数1、交互机名字 - 使用了默认的
参数2、指定路由规则,使用队列名字
参数3、指定传递的消息所携带的properties
参数4、推送的具体消息 - byte类型的
*/
String message = input.next();
channel.basicPublish("",QUEUE_NAME,null,message.getBytes(StandardCharsets.UTF_8));
System.out.println("消息====>" + message + "推送完毕");
}
}
}
消费者01
package cn.zixieqing.ACK;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Arrays;
import java.util.concurrent.TimeoutException;
public class AckConsumer {
private static final String QUEUE_NAME = "ack queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
DeliverCallback deliverCallback = (consumerTag, message) -> {
try {
Thread.sleep(5*1000);
System.out.println("接收到了消息=====>" + new String( message.getBody(), StandardCharsets.UTF_8 ));
// 添加手动应答
/*
basicAck( long, boolean )
参数1、消息的标识tag,这个标识就相当于是消息的ID
参数2、是否批量应答multiple
*/
channel.basicAck(message.getEnvelope().getDeliveryTag(),false);
} catch (InterruptedException e) {
e.printStackTrace();
}
};
System.out.println("消费者01正在接收消息,需要5秒处理完");
channel.basicConsume(QUEUE_NAME, false, deliverCallback, consumerTag -> {
System.out.println("触发消费者取消消费消息行为的回调");
System.out.println(Arrays.toString(consumerTag.getBytes(StandardCharsets.UTF_8)));
});
}
}
消费者02
package cn.zixieqing.ACK;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Arrays;
import java.util.concurrent.TimeoutException;
public class AckConsumer {
private static final String QUEUE_NAME = "ack queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
DeliverCallback deliverCallback = (consumerTag, message) -> {
try {
Thread.sleep(10*1000);
System.out.println("接收到了消息=====>" + new String( message.getBody(), StandardCharsets.UTF_8 ));
// 添加手动应答
/*
basicAck( long, boolean )
参数1、消息的标识tag,这个标识就相当于是消息的ID
参数2、是否批量应答multiple
*/
channel.basicAck(message.getEnvelope().getDeliveryTag(),false);
} catch (InterruptedException e) {
e.printStackTrace();
}
};
System.out.println("消费者02正在接收消息,需要10秒处理完");
channel.basicConsume(QUEUE_NAME, false, deliverCallback, consumerTag -> {
System.out.println("触发消费者取消消费消息行为的回调");
System.out.println(Arrays.toString(consumerTag.getBytes(StandardCharsets.UTF_8)));
});
}
}
3.4、RabbitMQ的持久化 durable
3.4.1、队列持久化
这个玩意儿的配置吧,早就见过了,在生产者消息发送时,有一个声明队列的过程,那里面就有一个是否持久化的配置
/*
下面这是参数的完整意思,源码中偷懒了,没有见名知意
queueDeclare( queueName,isPersist,isShare,isAutoDelete,properties )
参数1、队列名字
参数2、是否持久化( 保存到磁盘 ),默认是在内存中的
参数3、是否共享,即:是否只供一个消费者消费,是否让多个消费者共享这个队列中的信息
参数4、是否自动删除,即:最后一个消费者获取信息之后,这个队列是否自动删除
参数5、其他配置项,这涉及到后面的知识,目前选择null
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
而如果没有持久化,那么RabbitMQ服务由于其他什么原因导致挂彩的时候,那么重启之后,这个没有持久化的队列就灰飞烟灭了【 ps:注意和里面的消息还没关系啊,不是说队列持久化了,那么消息就持久化了 】
在这个队列持久化配置中,它的默认值就是false,所以要改成true时,需要注意一个点:选择队列持久化,那么必须保证当前这个队列是新的,即:RabbitMQ中没有当前队列,否则:需要进到web管理界面把已有的同名队列删了,然后重新配置当前队列持久化选项为true,不然:报错
那么:当我把持久化选项改为true,并 重新发送消息时
image
inequivalent arg ‘durable’ for queue ‘queue durable’ in vhost ‘/’: received ‘true’ but current is ‘false’
告知你:vhost虚拟机中已经有了这个叫做durable的队列,要接收的选项值是true,但是它当前的值是false,所以报错了呗
解决方式就是去web管理界面,把已有的durable队列删了,重新执行
再次执行就可以吃鸡了,同时去web管理界面会发现它状态变了,多了一个D标识
有了这个玩意儿之后,那么就算RabbitMQ出问题了,后续恢复之后,那么这个队列也不会丢失
3.4.2、消息持久化
注意:这里说的消息持久化不是说配置之后消息就一定不会丢失,而是:把消息标记为持久化,然后RabbitMQ尽量让其持久化到磁盘
但是:也会有意外,比如:RabbitMQ在将消息持久化到磁盘时,这是有一个时间间隔的,数据还没完全刷写到磁盘呢,RabbitMQ万一出问题了,那么消息 / 数据还是会丢失的,所以:消息持久化配置是一个弱持久化,但是:对于简单队列模式完全足够了,强持久化的实现方式在后续的publisher / confirm发布确认模式中
至于配置极其地简单,在前面都已经见过这个配置项,就是生产者发消息时做文章,就是下面的第三个参数,把它改为MessageProperties.PERSISTENT_TEXT_PLAIN即可
/*
basicPublish( exchangeName,routing key,properties,message )
参数1、交互机名字 - 使用了默认的
参数2、指定路由规则,使用队列名字
参数3、指定传递的消息所携带的properties
参数4、推送的具体消息 - byte类型的
*/
channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
// 改成消息持久化
channel.basicPublish("",QUEUE_NAME,MessageProperties.PERSISTENT_TEXT_PLAIN,message.getBytes());
MessageProperties类的源码如下:
public class MessageProperties {
public static final BasicProperties MINIMAL_BASIC = new BasicProperties((String)null, (String)null, (Map)null, (Integer)null, (Integer)null, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public static final BasicProperties MINIMAL_PERSISTENT_BASIC = new BasicProperties((String)null, (String)null, (Map)null, 2, (Integer)null, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public static final BasicProperties BASIC = new BasicProperties("application/octet-stream", (String)null, (Map)null, 1, 0, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public static final BasicProperties PERSISTENT_BASIC = new BasicProperties("application/octet-stream", (String)null, (Map)null, 2, 0, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public static final BasicProperties TEXT_PLAIN = new BasicProperties("text/plain", (String)null, (Map)null, 1, 0, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public static final BasicProperties PERSISTENT_TEXT_PLAIN = new BasicProperties("text/plain", (String)null, (Map)null, 2, 0, (String)null, (String)null, (String)null, (String)null, (Date)null, (String)null, (String)null, (String)null, (String)null);
public MessageProperties() {
}
}
上面用到了BasicProperties类型,它的属性如下:
public static class BasicProperties extends AMQBasicProperties {
// 消息内容的类型
private String contentType;
// 消息内容的编码格式
private String contentEncoding;
// 消息的header
private Map<String, Object> headers;
// 消息是否持久化,1:否,2:是
private Integer deliveryMode;
// 消息的优先级
private Integer priority;
// 关联ID
private String correlationId;
// :用于指定回复的队列的名称
private String replyTo;
// 消息的失效时间
private String expiration;
// 消息ID
private String messageId;
// 消息的发送时间
private Date timestamp;
// 类型
private String type;
// 用户ID
private String userId;
// 应用程序ID
private String appId;
// 集群ID
private String clusterId;
}
3.5、不公平分发 和 预取值
不公平分发
这个东西是在消费者那一方进行设置的
RabbitMQ默认是公平分发,即:轮询分发
轮询分发有缺点:如前面消费者01( 设5秒的那个 )和 消费者02 ( 设10秒的那个 ),这种情况如果采用轮询分发,那么:01要快一点,而02要慢一点,所以01很快处理完了,然后处于空闲状态,而02还在拼命奋斗中,最后的结果就是02不停干,而01悠悠闲闲的,浪费了时间,所以:应该压榨一下01,让它不能停
设置方式:在消费者接收消息之前进行channel.basicQos( int prefetchCount )设置
// 不公平分发,就是在这里接收消息之前做处理
/*
basicQos( int prefetchCount )
为0、轮询分发 也是RabbitMQ的默认值
为1、不公平分发
*/
channel.basicQos(1);
channel.basicConsume("qos queue", true, deliverCallback, consumerTag -> {
System.out.println("消费者中断了接收消息行为触发的回调");
});
预取值
指的是:多个消费者在消费消息时,让每一个消费者预计消费多少条消息
而要设置这种效果,和前面不公平分发的设置是一样的,只是把里面的参数改一下即可
// 预取值,也是在这里接收消息之前做处理,和不公平分发调的是同一个API
/*
basicQos( int prefetchCount ) 为0、轮询分发 也是RabbitMQ的默认值;为1、不公平分发
而当这里的数字变成其他的,如:上图中上面的那个消费者要消费20条消息,那么把下面的数字改成对应的即可
注意点:这是要设置哪个消费者的预取值,那就是在哪个消费者代码中进行设定啊
*/
channel.basicQos(10); // 这样就表示这个代码所在的消费者需要消费10条消息了
channel.basicConsume("qos queue", true, deliverCallback, consumerTag -> {
System.out.println("消费者中断了接收消息行为触发的回调");
});
3.6、publisher / confirms 发布确认模式
3.6.1、发布确认模式的原理
这个玩意儿的目的就是为了持久化
在上面的过程中,想要让数据持久化,那么需要具备以下的条件
1、队列持久化
2、消息持久化
3、发布确认
而所谓的发布确认指的就是:数据在刷写到磁盘时,成功了,那么MQ就回复生产者一下,数据确认刷写到磁盘了,否则:只具备前面的二者的话,那也有可能出问题,如:数据推到了队列中,但是还没来得及刷写到磁盘呢,结果RabbitMQ宕机了,那数据也有可能会丢失,所以:现在持久化的过程就是如下的样子:
开启发布确认
在发送消息之前( 即:调basicPublish() 之前 )调一个API就可以了
channel.confirmSelect(); // 没有参数
3.6.2、发布确认的分类
3.6.2.1、单个确认发布
一句话:一手交钱一手交货,即 生产者发布一条消息,RabbitMQ就要回复确认状态,否则不再发放消息,因此:这种模式是同步发布确认的方式,缺点:很慢,优点:能够实时地了解到那条消息出异常 / 哪些消息都发布成功了
public static void main(String[] args) throws InterruptedException, TimeoutException, IOException {
// 单个确认发布
singleConfirm(); // 单个确认发布发送这些消息花费4797ms
}
public static void singleConfirm() throws IOException, TimeoutException, InterruptedException {
Channel channel = MQUtil.getChannel("");
// 开启确认发布
channel.confirmSelect();
// 声明队列 并 让队列持久化
channel.queueDeclare("singleConfirm", true, false, false, null);
long begin = System.currentTimeMillis();
for (int i = 1; i <= 100; i++) {
// 发送消息 并 让消息持久化
channel.basicPublish("","singleConfirm", MessageProperties.PERSISTENT_TEXT_PLAIN,String.valueOf(i).getBytes() );
// 发布一个 确认一个 channel.waitForConfirms()
if ( channel.waitForConfirms() )
System.out.println("消息".concat( String.valueOf(i) ).concat( "发送成功") );
}
long end = System.currentTimeMillis();
System.out.println("单个确认发布发送这些消息花费".concat( String.valueOf( end-begin ) ).concat("ms") );
}
3.6.2.2、批量确认发布
一句话:只要结果,是怎么一个批量管不着,只需要把一堆消息发布之后,回复一个结果即可,这种发布也是同步的
优点:效率相比单个发布要高
缺点:如果因为什么系统故障而导致发布消息出现问题,那么就会导致是批量发了一些消息,然后再回复的,中间有哪个消息出问题了鬼知道
public static void main(String[] args) throws InterruptedException, TimeoutException, IOException {
// 单个确认发布
// singleConfirm(); // 单个确认发布发送这些消息花费4797ms
// 批量发布
batchConfirm(); // 批量发布发送的消息共耗时:456ms
}
public static void batchConfirm() throws IOException, TimeoutException, InterruptedException {
Channel channel = MQUtil.getChannel("");
// 开启确认发布
channel.confirmSelect();
// 声明队列 并 让队列持久化
channel.queueDeclare("batchConfirm", true, false, false, null);
long begin = System.currentTimeMillis();
for (int i = 1; i <= 100; i++) {
// 发送消息 并 让消息持久化
channel.basicPublish("","batchConfirm", MessageProperties.PERSISTENT_TEXT_PLAIN,String.valueOf(i).getBytes() );
// 批量发布 并 回复批量发布的结果 - 发了10条之后再确认
if (i % 10 == 0) {
channel.waitForConfirms();
System.out.println("消息" + ( i-10 ) + "====>" + i + "的消息发布成功");
}
}
// 为了以防还有另外的消息未被确认,再次确认一下
channel.waitForConfirms();
long end = System.currentTimeMillis();
System.out.println("批量发布发送的消息共耗时:" + (end - begin) + "ms");
}
3.6.2.3、异步确认发布 - 必须会的一种
由上图可知:所谓的异步确认发布就是:
1、生产者只管发消息就行,不用管消息有没有成功
2、发布的消息是存在一个map集合中的,其key就是消息的标识tag / id,value就是消息内容
3、如果消息成功发布了,那么实体broker会有一个ackCallback()回调函数来进行处理【 ps:里面的处理逻辑是需要我们进行设计的 】
4、如果消息未成功发布,那么实体broker会调用一个nackCallback()回调函数来进行处理【 ps:里面的处理逻辑是需要我们进行设计的 】
5、而需要异步处理,就是因为生产者只管发就行了,因此:一轮的消息肯定是很快就发布过去了,就可以做下一轮的事情了,至于上一轮的结果是怎么样的,那就需要等到两个callback回调执行完了之后给结果,而想要能够调取到两个callback回调,那么:就需要对发送的信息进行监听 / 对信道进行监听
而上述牵扯到一个map集合,那么这个集合需要具备如下的条件:
1、首先此集合应是一个安全且有序的,同时还支持高并发
2、其次能够将序列号( key ) 和 消息( value )轻松地进行关联
代码实现
public static void main(String[] args) throws InterruptedException, TimeoutException, IOException {
// 单个确认发布
// singleConfirm(); // 单个确认发布发送这些消息花费4797ms
// 批量发布
// batchConfirm(); // 批量发布发送的消息共耗时:456ms
asyncConfirm(); // 异步发布确认耗时:10ms
}
// 异步发布确认
public static void asyncConfirm() throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.confirmSelect();
channel.queueDeclare("async confirm", true, false, false, null);
// 1、准备符合条件的map
ConcurrentSkipListMap<Long, Object> messagePoolMap = new ConcurrentSkipListMap<>();
// 3、对信道channel进行监听
// 成功确认发布回调
ConfirmCallback ackCallback = (messageTag, multiple) -> {
System.out.println("确认发布了消息=====>" + messagePoolMap.headMap(messageTag) );
// 4、把确认发布的消息删掉,减少内存开销
// 判断是否是批量删除
if ( multiple ){
// 通过消息标识tag 把 确认发布的消息取出
messagePoolMap.headMap(messageTag).clear();
/**
* 上面这句代码拆分写法
* ConcurrentNavigableMap<Long, Object> confirmed = messagePoolMap.headMap(messageTag);
* confirmed.clear();
*/
}else {
messagePoolMap.remove(messageTag);
}
};
// 没成功发布确认回调
ConfirmCallback nackCallback = (messageTag, multiple) -> {
System.out.println("未确认的消息是:" + messagePoolMap.get(messageTag) );
};
// 进行channel监听 这是异步的
/**
* channel.addConfirmListener(ConfirmCallback var1, ConfirmCallback var2)
* 参数1、消息成功发布的回调函数 ackCallback()
* 参数2、消息未成功发布的回调函数 nackCallback()
*/
channel.addConfirmListener( ackCallback,nackCallback );
long begin = System.currentTimeMillis();
for (int i = 1; i <= 100; i++) {
// 2、将要发布的全部信息保存到map中去
/*
channel.getNextPublishSeqNo() 获取下一次将要发送的消息标识tag
*/
messagePoolMap.put(channel.getNextPublishSeqNo(),String.valueOf(i) );
// 生产者只管发布就行
channel.basicPublish("","async confirm",MessageProperties.PERSISTENT_TEXT_PLAIN,String.valueOf(i).getBytes());
System.out.println("消息=====>" + i + "发送完毕");
}
long end = System.currentTimeMillis();
System.out.println("异步发布确认耗时:" + ( end-begin ) + "ms" );
}
3.7、交换机
正如前面一开始就画的原理图,交换机的作用就是为了接收生产者发送的消息 并 将消息发送到队列中去
注意点:前面一直玩的那些模式,虽然没有写交换机,但并不是说RabbitMQ就没用交换机【 ps:使用的是""空串,也就是使用了RabbitMQ的默认交换机 】,生产者发送的消息只能发到交换机中,从而由交换机来把消息发给队列
3.7.1、交换机exchange的分类
直接( direct ) / 默认
主题( topic )
标题 ( heanders ) - 这个已经很少用了
扇出( fancut ) / 发布订阅模式
临时队列
所谓的临时队列指的就是:自动帮我们生成队列名 并且 当生产者和队列断开之后,这个队列会被自动删除
所以这么一说:前面玩过的一种就属于临时队列,即:将下面的第四个参数改成true即可【 ps:当然让队列名随机生成就完全匹配了 】
/*
下面这是参数的完整意思,源码中偷懒了,没有见名知意
queueDeclare( queueName,isPersist,isShare,isAutoDelete,properties )
参数1、队列名字
参数2、是否持久化( 保存到磁盘 ),默认是在内存中的
参数3、是否共享,即:是否只供一个消费者消费,是否让多个消费者共享这个队列中的信息
参数4、是否自动删除,即:最后一个消费者获取信息之后,这个队列是否自动删除
参数5、其他配置项,这涉及到后面的知识,目前选择null
*/
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
而如果要更简单的生成临时队列,那么调用如下的API即可
String queueName = channel.queueDeclare().getQueue();
这样帮我们生成的队列效果就和channel.queueDeclare(QUEUE_NAME, false, false, true, null);是一样的了
3.7.2、fanout扇出 / 发布订阅模式
这玩意儿吧,好比群发,一人发,很多人收到消息,就是原理图的另一种样子,生产者发布的一个消息,可以供多个消费者进行消费
实现方式就是让一个交换机binding绑定多个队列
生产者
package cn.zixieqing.fanout;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class FanoutProducer {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
/**
* 定义交换机
* 参数1、交换机名字
* 参数2、交换机类型
*/
channel.exchangeDeclare("fanoutExchange", BuiltinExchangeType.FANOUT);
System.out.println("请输入要发送的内容:");
Scanner input = new Scanner(System.in);
while (input.hasNext()){
String message = input.next();
channel.basicPublish("fanoutExchange","", null,message.getBytes(StandardCharsets.UTF_8));
System.out.println("消息=====>" + message + "发送完毕");
}
}
}
消费者01
package cn.zixieqing.fanout;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class FanoutConsumer01 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 绑定队列
/**
* 参数1、队列名字
* 参数2、交换机名字
* 参数3、用于绑定的routing key / binding key
*/
String queueName = channel.queueDeclare().getQueue();
channel.queueBind(queueName, "fanoutExchange", "");
System.out.println("01消费者正在接收消息........");
channel.basicConsume(queueName,true,(consumerTag,message)->{
// 这里面接收到消息之后就可以用来做其他事情了,如:存到磁盘
System.out.println("接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
},consumerTage->{});
}
}
消费者02
package cn.zixieqing.fanout;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class FanoutConsumer02 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 绑定队列
/**
* 参数1、队列名字
* 参数2、交换机名字
* 参数3、用于绑定的routing key / binding key
*/
String queueName = channel.queueDeclare().getQueue();
channel.queueBind(queueName, "fanoutExchange", "");
System.out.println("02消费者正在接收消息........");
channel.basicConsume(queueName,true,(consumerTag,message)->{
// 这里面接收到消息之后就可以用来做其他事情了,如:存到磁盘
System.out.println("接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
},consumerTage->{});
}
}
image
3.7.3、direct交换机 / routing路由模式
这个玩意儿吧就是发布订阅模式,也就是fanout类型交换机的变样板,即:多了一个routing key的配置而已,也就是说:生产者和消费者传输消息就通过routing key进行关联起来,因此:现在就变成了生产者想把消息发给谁就发给谁
生产者
package cn.zixieqing.direct;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Scanner;
import java.util.concurrent.TimeoutException;
public class DirectProducer {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("directExchange", BuiltinExchangeType.DIRECT);
System.out.println("请输入要发送的消息:");
Scanner input = new Scanner(System.in);
while (input.hasNext()){
String message = input.next();
/**
* 对第二个参数routing key做文章
* 假如这里的routing key为zixieqing 那么:就意味着消费者只能是绑定了zixieqing的队列才可以进行接收这里发的消息内容
*/
channel.basicPublish("directExchange","zixieqing",null,message.getBytes(StandardCharsets.UTF_8));
System.out.println("消息=====>" + message + "====>发送完毕");
}
}
}
消费者01
package cn.zixieqing.direct;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class DirectConsumer01 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.queueDeclare("direct", false, false, false, null);
/**
* 队列绑定
* 参数1、队列名
* 参数2、交换机名字
* 参数3、routing key 这里的routing key 就需要和生产者中的一样了,这样才可以通过这个routing key去对应的队列中取消息
*/
channel.queueBind("direct", "directExchange", "zixieqing");
System.out.println("01消费者正在接收消息.......");
channel.basicConsume("direct",true,(consumerTag,message)->{
System.out.println("01消费者接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
},consumerTag->{});
}
}
上面这种,生产者的消息肯定能够被01消费者给消费,因为:他们的交换机名字、队列名字和routing key的值都是相同的
而此时再加一个消费者,让它的routing key值和消费者中的不同
package cn.zixieqing.direct;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class DirectConsumer02 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.queueDeclare("direct", false, false, false, null);
/**
* 队列绑定
* 参数1、队列名
* 参数2、交换机名字
* 参数3、routing key 这里的routing key 就需要和生产者中的一样了,这样才可以通过这个routing key去对应的队列中取消息
*/
// 搞点事情:这里的routing key的值zixieqing和生产者的不同
channel.queueBind("direct", "directExchange", "xiegongzi");
System.out.println("02消费者正在接收消息.......");
channel.basicConsume("direct",true,(consumerTag,message)->{
System.out.println("02消费者接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
},consumerTag->{});
}
}
3.7.4、topic交换机 / topic主题模式 - 使用最广的一个
前面玩的fanout扇出类型的交换机 / 发布订阅模式是一个生产者发布,多个消费者共享消息,和qq群类似;而direct直接交换机 / 路由模式是消费者只能消费和消费者相同routing key的消息
而上述这两种还有局限性,如:现在生产者的routing key为zi.xie.qing,而一个消费者只消费含xie的消息,一个消费者只消费含qing的消息,另一个消费者只消费第一个为zi的零个或无数个单词的消息,甚至还有一个消费者只消费最后一个单词为qing,前面有三个单词的routing key的消息呢?
这样一看,发布订阅模式和路由模式都不能解决,更别说前面玩的简单模式、工作队列模式、发布确认模式了,这些和目前的这个需求更不搭了,因此:就来了这个topic主题模式
topic中routing key的要求
只要交换机类型是topic类型的,那么其routing key就不能乱写,要求:routing key只能是一个单词列表,多个单词之间采用点隔开,如:cn.zixieqing.rabbit
单词列表的长度不能超过255个字节
在routing key的规则列表中有两个替换符可以用
1、* 代表一个单词
2、# 代表零活无数个单词
假如有如下的一个绑定关系图
Q1绑定的是:中间带 orange 带 3 个单词的字符串(.orange.)
Q2绑定的是:
最后一个单词是 rabbit 的 3 个单词(…rabbit)
第一个单词是 lazy 的多个单词(lazy.#)
熟悉一下这种绑定关系( 左为一些routes路由规则,右为能匹配到上图绑定关系的结果 )
quick.orange.rabbit 被队列 Q1Q2 接收到
lazy.orange.elephant 被队列 Q1Q2 接收到
quick.orange.fox 被队列 Q1 接收到
lazy.brown.fox 被队列 Q2 接收到
lazy.pink.rabbit 虽然满足两个绑定,但只被队列 Q2 接收一次
quick.brown.fox 不满足任何绑定关系,不会被任何队列接收到,会被丢弃
quick.orange.male.rabbit 是四个单词,不满足任何绑定关系,会被丢弃
lazy.orange.male.rabbit 虽是四个单词,但匹配 Q2,因:符合lazy.#这个规则
当队列绑定关系是下列这种情况时需要引起注意
当一个队列绑定键是#,那么这个队列将接收所有数据,就有点像 fanout 了
如果队列绑定键当中没有#和*出现,那么该队列绑定类型就是 direct 了
把上面的绑定关系和测试转换成代码玩一波
生产者
package cn.zixieqing.topic;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeoutException;
public class TopicProducer {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("topicExchange", BuiltinExchangeType.TOPIC);
/**
* 准备大量的routing key 和 message
*/
HashMap<String, String> routesAndMessageMap = new HashMap<>();
routesAndMessageMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
routesAndMessageMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
routesAndMessageMap.put("quick.orange.fox", "被队列 Q1 接收到");
routesAndMessageMap.put("lazy.brown.fox", "被队列 Q2 接收到");
routesAndMessageMap.put("lazy.pink.rabbit", "虽然满足两个绑定,但只被队列 Q2 接收一次");
routesAndMessageMap.put("quick.brown.fox", "不满足任何绑定关系,不会被任何队列接收到,会被丢弃");
routesAndMessageMap.put("quick.orange.male.rabbit", "是四个单词,不满足任何绑定关系,会被丢弃");
routesAndMessageMap.put("lazy.orange.male.rabbit ", "虽是四个单词,但匹配 Q2,因:符合lazy.#这个规则");
System.out.println("生产者正在发送消息.......");
for (Map.Entry<String, String> routesAndMessageEntry : routesAndMessageMap.entrySet()) {
String routingKey = routesAndMessageEntry.getKey();
String message = routesAndMessageEntry.getValue();
channel.basicPublish("topicExchange",routingKey,null,message.getBytes(StandardCharsets.UTF_8));
System.out.println("消息====>" + message + "===>发送完毕");
}
}
}
消费者01
package cn.zixieqing.topic;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class TopicConsumer01 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("topicExchange", BuiltinExchangeType.TOPIC);
channel.queueDeclare("Q1", false, false, false, null);
channel.queueBind("Q1", "topicExchange", "*.orange.*");
System.out.println("消费者01正在接收消息......");
channel.basicConsume("Q1",true,(consumerTage,message)->{
System.out.println("01消费者接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
System.out.println("此条消息的交换机名为:" + message.getEnvelope().getExchange() + ",路由键为:" + message.getEnvelope().getRoutingKey());
},consumerTag->{});
}
}
消费者02
package cn.zixieqing.topic;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class TopicConsumer02 {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("topicExchange", BuiltinExchangeType.TOPIC);
channel.queueDeclare("Q2", false, false, false, null);
channel.queueBind("Q2", "topicExchange", "*.*.rabbit");
channel.queueBind("Q2", "topicExchange", "lazy.#");
System.out.println("消费者02正在接收消息......");
channel.basicConsume("Q2",true,(consumerTage,message)->{
System.out.println("02消费者接收到了消息====>" + new String( message.getBody(), StandardCharsets.UTF_8));
System.out.println("此条消息的交换机名为:" + message.getEnvelope().getExchange() + ",路由键为:" + message.getEnvelope().getRoutingKey());
},consumerTag->{});
}
}
3.8.2、队列超过最大长度
3.8.2.1、队列超过所限制的最大个数
意思就是:某一个队列要求只能放N个消息,但是放了N+1个消息,这就超过队列的最大个数了
生产者
就是一个正常的生产者发送消息而已
package cn.zixieqing.dead_letter_queue.queuelength.queuenumber;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class Producer {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("messageNumber_normal_exchange", BuiltinExchangeType.DIRECT);
for (int i = 1; i < 11; i++) {
String message = "生产者发送了消息" + i;
channel.basicPublish("messageNumber_normal_exchange","zi",null,
message.getBytes(StandardCharsets.UTF_8) );
System.out.println("消息====>" + message + "====>发送完毕");
}
}
}
01消费者
package cn.zixieqing.dead_letter_queue.queuelength.queuenumber;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.concurrent.TimeoutException;
public class Consumer01 {
/**
* 正常交换机名称
*/
public static final String NORMAL_EXCHANGE = "messageNumber_normal_exchange";
/**
* 正常队列名称
*/
public static final String NORMAL_QUEUE = "messageNumber_queue";
/**
* 死信交换机名称
*/
public static final String DEAD_EXCHANGE = "messageNumber_dead_exchange";
/**
* 死信队列名称
*/
public static final String DEAD_QUEUE = "messageNumber_dead_queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 声明正常交换机、死信交换机
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
// 声明死信队列
channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
// 死信交换机和死信队列进行绑定
channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "xie");
// 声明正常队列 并 考虑达到条件时和死信交换机进行联系
HashMap<String, Object> params = new HashMap<>();
// 死信交换机
params.put("x-dead-letter-exchange", DEAD_EXCHANGE);
// 死信路由键
params.put("x-dead-letter-routing-key", "xie");
// 达到队列能接受的最大个数限制就多了如下的配置
params.put("x-max-length", 6);
channel.queueDeclare(NORMAL_QUEUE, false, false, false, params);
// 正常队列和正常交换机进行绑定
channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "zi");
System.out.println("01消费者正在接收消息......");
channel.basicConsume(NORMAL_QUEUE,true,(consumeTag,message)->{
System.out.println("01消费者接收到了消息:" + new String( message.getBody(), StandardCharsets.UTF_8));
},consumeTag->{});
}
}
启动01消费者,然后关掉( 模仿异常 ),最后启动生产者,那么:生产者发送了10个消息,由于01消费者这边做了配置,所以有6个消息是在正常队列中,余下的4个消息就会进入死信队列
3.8.2.2、超过队列能接受消息的最大字节长度
和前面一种相比,在01消费者方做另一个配置即可
params.put(“x-max-length-bytes”, 255);
注意:关于两种情况同时使用的问题
如配置的如下两个
params.put(“x-max-length”, 6);
params.put(“x-max-length-bytes”, 255);
那么先达到哪个上限设置就执行哪个
3.8.3、消息被拒收
注意点:必须开启手动应答
// 第二个参数改成false
channel.basicConsume(NORMAL_QUEUE,false,(consumeTag,message)->{},consumeTag->{});
生产者
package cn.zixieqing.dead_letter_queue.reack;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;
public class Producer {
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
channel.exchangeDeclare("reack_normal_exchange", BuiltinExchangeType.DIRECT);
for (int i = 1; i < 11; i++) {
String message = "生产者发送的消息" + i;
channel.basicPublish("reack_normal_exchange","zixieqing",null,message.getBytes(StandardCharsets.UTF_8));
System.out.println("消息===>" + message + "===>发送完毕");
}
}
}
消费者
package cn.zixieqing.dead_letter_queue.reack;
import cn.zixieqing.util.MQUtil;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.concurrent.TimeoutException;
public class Consumer01 {
public static final String NORMAL_EXCHANGE = "reack_normal_exchange";
public static final String DEAD_EXCHANGE = "reack_dead_exchange";
public static final String DEAD_QUEUE = "reack_dead_queue";
public static final String NORMAL_QUEUE = "reack_normal_queue";
public static void main(String[] args) throws IOException, TimeoutException {
Channel channel = MQUtil.getChannel("");
// 声明正常交换机、死信交换机
channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
// 声明死信队列
channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
// 死信队列绑定死信交换机
channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "xie");
// 声明正常队列
HashMap<String, Object> params = new HashMap<>();
params.put("x-dead-letter-exchange", DEAD_EXCHANGE);
params.put("x-dead-letter-routing-key", "xie");
channel.queueDeclare(NORMAL_QUEUE, false, false, false, params);
channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "zixieqing");
System.out.println("01消费者正在接收消息.....");
// 1、注意:需要开启手动应答( 第二个参数为false )
channel.basicConsume(NORMAL_QUEUE,false,(consumeTag,message)->{
String msg = new String(message.getBody(), StandardCharsets.UTF_8);
// 如果发送的消息为:生产者发送的消息5 则:拒收
if ( "生产者发送的消息5".equals( msg ) ) {
System.out.println("此消息====>" + msg + "===>是拒收的");
// 2、做拒收处理 - 注意:第二个参数设为false,表示不再重新入正常队列的队,这样消息才可以进入死信队列
channel.basicReject( message.getEnvelope().getDeliveryTag(),false);
}else {
System.out.println("01消费者接收到了消息=====>" + msg);
}
},consumeTag->{});
}
}