背景
消息队列是微服务分布式系统的必要中间件,通过消息队列提供的可靠传递、广播、最终一致性和低耦合等一系列功能,我们可以快速实现异步通信、应用解耦和流量削峰等等。目前市面上主流的消息中间件有ActiveMQ、RabbitMQ、Kafka和阿里开源的RocketMQ等等,每个消息队列各有优劣(网上资料一堆,这里不做展开),如何选择具体需要根据实际业务综合考量。
本文重点讨论基于RabbitMQ的消息队列整合和使用,帮助大家快速掌握RabbitMQ的基础知识。
RabbitMQ介绍
RabbitMQ是用Erlang语言编写的,基于高级消息队列协议(AMQP)的消息中间件。
AMQP(Advanced Message Queuing Protocol):高级消息队列协议,也是一个消息代理的规范,兼容JMS。AMQP定义了wire-level层的协议标准;天然具有跨平台、跨语言特性
RabbitMQ的核心概念
-
Broker: 接收和分发消息的应用,RabbitMQ Server就是Message Broker。
-
Virtual host: 出于多租户和安全因素设计的,把AMQP的基本组件划分到一个虚拟的分组中,类似于网络中的namespace概念。当多个不同的用户使用同一个RabbitMQ server提供的服务时,可以划分出多个vhost,每个用户在自己的vhost创建exchange/queue等。
-
Connection: publisher/consumer和broker之间的TCP连接。断开连接的操作只会在client端进行,Broker不会断开连接,除非出现网络故障或broker服务出现问题。
-
Channel: 如果每一次访问RabbitMQ都建立一个Connection,在消息量大的时候建立TCP Connection的开销将是巨大的,效率也较低。Channel是在connection内部建立的逻辑连接,如果应用程序支持多线程,通常每个thread创建单独的channel进行通讯,AMQP method包含了channel id帮助客户端和message broker识别channel,所以channel之间是完全隔离的。Channel作为轻量级的Connection极大减少了操作系统建立TCP connection的开销。
-
Exchange: message到达broker的第一站,根据分发规则,匹配查询表中的routing key,分发消息到queue中去。常用的类型有:direct (point-to-point), topic (publish-subscribe) and fanout (multicast)。
-
Queue: 消息最终被送到这里等待consumer取走。一个message可以被同时拷贝到多个queue中。
-
Binding: exchange和queue之间的虚拟连接,binding中可以包含routing key。Binding信息被保存到exchange中的查询表中,用于message的分发依据。
RabbitMQ消息队列模型
简单模型
-
p:生成者
-
C:消费者
-
红色部分:消息队列
工作队列
-
p:生成者
-
C1、C2:消费者
-
红色部分:消息队列
适用于生产速度远远大于消费速度的场景。正常情况下队列中的消息一旦消费就会丢失,因此每个消息只会执行一次,不会重复执行。
发布订阅
-
p:生成者
-
X:交换机
-
C1、C2:消费者
-
红色部分:消息队列
路由模式
-
p:生成者
-
X:交换机,接收到生产者的消息后将消息投递给与routing key完全匹配的队列
-
C1、C2:消费者
-
红色部分:消息队列
Topic模式
-
p:生成者
-
X:交换机,接收到生产者的消息后将消息投递给与routing key完全匹配的队列
-
C1、C2:消费者
-
Q1、Q2:消息队列
这种模型和direct模型一样,都是可以根据routing key将消息路由到不同的队列,只不过Topic模型可以让队列绑定routing key 的时候使用通配符,所以最灵活。
通配符介绍:
* :只匹配一个单词
#:匹配一个或多个单词
RPC模式
通过消息队列实现远程RPC通讯。当客户端启动时,创建一个回调队列。并提供回调函数,发送RPC请求并且阻塞直到收到RPC运算的结果。
RabbitMQ安装
RabbitMQ的安装非常简单,支持全平台,只需要登录官网,选择合适的操作系统版本,下载对应的安装包执行即可。
详情可以参考链接:https://www.rabbitmq.com/download.html
这里演示下使用Docker安装RabbitMQ(默认已经安装好了Docker环境),
1、查询rabbitmq镜像
docker search rabbitmq
2、选择版本并拉去镜像,建议选择带-managerment的版本
docker pull rabbitmq:management
3、查看镜像列表,确认镜像是否下载成功
docker images
4、运行镜像
docker run -it --rm --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:management
5、访问浏览器:http://localhost:15672/
默认账号密码为guest/guest
Spring Boot整合RabbitMQ
1、引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
Spring Boot在autoconfigure包中提供了和RabbitMQ相关的自动配置类RabbitAutoConfiguration(@see org.springframework.boot.autoconfigure.amqp.RabbitAutoConfiguration),RabbitAutoConfiguration通过RabbitProperties封装了RabbitMQ的配置,并提供一系列默认自动配置类。
核心组件为:
-
RabbitTemplate :提供RabbitMQ的发送和拉取消息
-
AmqpAdmin : RabbitMQ系统管理功能组件,用于创建和删除 Queue、Exchange、Binding
-
@RabbitListener和@RabbitHandler:提供监听器功能,监听消息队列的内容并回调
2、添加配置
spring:
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
其他拓展参考可参考:RabbitProperties
3、声明路由器和队列
//direct直连模式的交换机配置,包括一个direct交换机,两个队列
@Configuration
public class DirectExchangeConfig {
@Bean
public DirectExchange directExchange(){
DirectExchange directExchange=new DirectExchange("direct");
return directExchange;
}
@Bean
public Queue directQueue1() {
Queue queue=new Queue("directqueue1");
return queue;
}
@Bean
public Queue directQueue2() {
Queue queue=new Queue("directqueue2");
return queue;
}
@Bean
public Binding binding1(){
Binding binding=BindingBuilder.bind(directQueue1()).to(directExchange()).with("binding1");
return binding;
}
@Bean
public Binding binding2(){
Binding binding=BindingBuilder.bind(directQueue2()).to(directExchange()).with("binding2");
return binding;
}
}
注意:
这里演示的是直连模式,我们还可以根据需要构建FanoutExchange和TopicExchange等,声明方式类似。
4、创建生产者
@Controller
public class SendController {
@Autowired
private RabbitTemplate template;
@GetMapping(value = "/queue/{name}")
public String queue(@PathVariable String name) {
Map map = new HashMap(2);
map.put("name",name);
map.put("age",10);
template.sendMessage("direct", "directqueue1", map);
return "Hello queue " + name;
}
}
启动项目,在浏览器输入:http://localhost:8080/queue/hellowor
5、创建消费者
@Component
@RabbitListener(queues = "directqueue1")
public class DirectReceiver {
@RabbitHandler
public void process(Map body) {
System.out.println("DirectReceiver消费者收到消息 : " + body);
}
}
或者
@Component
public class DirectReceiver {
@RabbitListener(queues = "directqueue1")
public void process(Map body) {
System.out.println("DirectReceiver消费者收到消息 : " + body);
}
}
启动项目,打印:DirectReceiver消费者收到消息 :{name=helloworld, age=10}