RabbitMQ

hmmmgo

已于 2024-02-08 16:22:16 修改

阅读量1k

点赞数 22

分类专栏： Java学习笔记文章标签： rabbitmq ruby 分布式

于 2024-01-24 22:39:56 首次发布

本文链接：https://blog.csdn.net/hmmmgo/article/details/135817285

版权

Java学习笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

往期Java学习笔记
一、SpringCloud
二、Docker
三、RabbitMQ
四、Elasticsearch-01
五、Elasticsearch-02
六、Elasticsearch-03
七、Sentinel

服务异步通讯——RabbitMQ

一、初识MQ

1、同步通讯和异步通讯

微服务间通讯有同步和异步两种方式：

同步通讯：就像打电话，需要实时响应。

异步通讯：就像发邮件，不需要马上回复。

在这里插入图片描述
两种方式各有优劣，打电话可以立即得到响应，但是你却不能跟多个人同时通话。发送邮件可以同时与多个人收发邮件，但是往往响应会有延迟。

2、同步调用的问题

微服务间基于Feign的调用就属于同步方式，但是会存在以下一些问题：
在这里插入图片描述
总结：

同步调用的优点：

时效性较强，可以立即得到结果

同步调用的问题：

耦合度高
性能和吞吐能力下降
有额外的资源消耗
有级联失败问题

3、异步调用方案

异步调用则可以避免上述问题。

我们以购买商品为例，用户支付后需要调用订单服务完成订单状态修改，调用物流服务，从仓库分配响应的库存并准备发货。

在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布一个支付成功的事件（event），事件中带上订单id。

订单服务和物流服务是事件订阅者（Consumer），订阅支付成功的事件，监听到事件后完成自己业务即可。

在这里插入图片描述

为了解除事件发布者与订阅者之间的耦合，两者并不是直接通信，而是有一个中间人（Broker）。发布者发布事件到Broker，不关心谁来订阅事件。订阅者从Broker订阅事件，不关心谁发来的消息。

在这里插入图片描述
Broker 是一个像数据总线一样的东西，所有的服务要接收数据和发送数据都发到这个总线上，这个总线就像协议一样，让服务间的通讯变得标准和可控。

优点：

吞吐量提升：无需等待订阅者处理完成，响应更快速
故障隔离：服务没有直接调用，不存在级联失败问题
调用间没有阻塞，不会造成无效的资源占用
耦合度极低，每个服务都可以灵活插拔，可替换
流量削峰：不管发布事件的流量波动多大，都由Broker接收，订阅者可以按照自己的速度去处理事件

缺点：

架构复杂了，业务没有明显的流程线，不好管理
需要依赖于Broker的可靠、安全、性能

好在现在开源软件或云平台上 Broker 的软件是非常成熟的，比较常见的一种就是我们今天要学习的MQ技术。

4、什么是MQ

MQ(MessageQueue)，中文是消息队列，字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。
在这里插入图片描述

二、RabbitMQ快速入门

1、RabbitMQ概述

RabbitMQ是基于Erlang语言开发的开源消息通信中间件。

2、基于Docker安装RabbitMQ

运行Docker

systemctl start docker

查看docker状态

systemctl status docker

在线拉取：

docker pull rabbitmq:3.8-management

查看镜像

docker images

运行MQ容器：

docker run \
 -e RABBITMQ_DEFAULT_USER=guest \
 -e RABBITMQ_DEFAULT_PASS=guest \
 -v mq-plugins:/plugins \
 --name mq \
 --hostname mq \
 -p 15672:15672 \
 -p 5672:5672 \
 -d \
 rabbitmq:3.8-management

-e：表示环境变量
-v：数据卷挂载
--name：容器的名字
--hostname：做集群的时候用
-p：端口号，15672===>管理端，5672===>操作mq的端口号
-d：后台运行

出现错误
docker: Error response from daemon: driver failed programming external connectivity on endpoint mq (2f946e8a5134e9c3c13c2693cb7dea4f2f8e62b92b9246eba168c32db23360f3): Error starting userland proxy: listen tcp4 0.0.0.0:15672: bind: address already in use.
listen tcp 0.0.0.0:15672报错，
查看是否有这个进程：

netstat -tanlp

在这里插入图片描述
tcp号为6648，将其杀死

sudo kill 6648

重新run，查看容器

docker ps

在这里插入图片描述

打开RabbitMQ的管理平台
你自己虚拟机的ip:15672,使用上面设置的用户名和密码登录

3、RabbitMQ的接口和概念

在这里插入图片描述
RabbitMQ中的一些角色：

publisher：生产者
consumer：消费者
exchange个：交换机，负责消息路由
queue：队列，存储消息
virtualHost：虚拟主机，隔离不同租户的exchange、queue、消息的隔离

4、常见消息模型

MQ的官方文档中给出了5个MQ的demo示例，对应了集中不同的用法：

基本消息队列(BasicQueue)
工作消息队列(WorkQueue)
发布订阅(Publish、Subscribe),又根据交换机类型分为三种：
- Fanout Exchange：广播
- Direct Exchange：路由
- Topic Exchange：主题

5、HelloWOrld案例

官方的HelloWorld是基于最基础的消息队列模型来实现的，只包括三个角色：

publisher：消息发布者，将消息发送到队列Queue
queue：消息队列，负责接收并缓存消息
consumer：订阅队列，处理队列中的消息

5.1 publisher实现思路：

思路：

建立连接
创建Channel
声明队列
发送消息
关闭连接和channel

代码实现：

package cn.itcast.mq.helloworld;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import org.junit.Test;
import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class PublisherTest {
    @Test
    public void testSendMessage() throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.150.101");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("guest");
        factory.setPassword("guest");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.发送消息
        String message = "hello, rabbitmq!";
        channel.basicPublish("", queueName, null, message.getBytes());
        System.out.println("发送消息成功：【" + message + "】");

        // 5.关闭通道和连接
        channel.close();
        connection.close();
    }
}

5.2 consumer实现

代码思路：

建立连接
创建Channel
声明队列
订阅消息

代码实现：

package cn.itcast.mq.helloworld;

import com.rabbitmq.client.*;
import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class ConsumerTest {

    public static void main(String[] args) throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.150.101");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("guest");
        factory.setPassword("guest");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.订阅消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope,
                                       AMQP.BasicProperties properties, byte[] body) throws IOException {
                // 5.处理消息
                String message = new String(body);
                System.out.println("接收到消息：【" + message + "】");
            }
        });
        System.out.println("等待接收消息。。。。");
    }
}

三、SpringAMQP

1、什么是SpringAMQP

在这里插入图片描述
总结
SpringAMQP提供了三个功能：

自动声明队列、交换机及其绑定关系
基于注解的监听器模式，异步接收消息
封装了RabbitTemplate工具，用于发送消息

2、案例：利用SpringAMQP实现HelloWorld中的基础消息队列功能

2.1 引入AMQP依赖

因为publisher和consumer服务都需要amqp依赖，因此这里把依赖直接放到父工程mq-demo中：

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>

2.2 在publisher中编写测试方法，向simple.queue发送消息

在publisher服务中编写application.yml，添加mq连接信息：

# mq的连接地址
spring:
  rabbitmq:
    host: 192.168.200.148 # 主机名
    port: 5672			  # 端口
    username: guest		  # 用户名	  
    password: guest		  # 密码
    virtual-host: /		  # 虚拟主机

在publisher服务中新建一个测试类，编写测试方法

@RunWith(SpringRunner.class)
@SpringBootTest
@Slf4j
public class SpringRabbitAmqp {

	@Autowired
	private RabbitTemplate rabbitTemplate;

	@Test
	public void send2SimpleQueue() {

		String queue = "simple.queue";
		String msg = "rabbit";
		//调用发送消息
		this.rabbitTemplate.convertAndSend(queue, msg);
		log.info("发送成功");
	}
}

2.3 在consumer中编写消费逻辑，监听simple.queue

在consumer服务中编写application.yml，添加mq连接信息：

# mq的连接地址
spring:
  rabbitmq:
    host: 192.168.200.148 # 主机名
    port: 5672			  # 端口
    username: guest		  # 用户名	  
    password: guest		  # 密码
    virtual-host: /		  # 虚拟主机

在consumer服务中新建一个类，编写消费逻辑：

@Component
public class SpringRabbitListener {

	@RabbitListener(queues = "simple.queue")
	public void listenerSimpleMsg(String msg) {
		System.out.println("simple.queue" + msg);
	}
}

总结
SpringAMQP如何发送消息？

引入amqp的starter依赖
配置RabbitMQ地址
利用RabbitTemplate的convertAndSend方法

SpringAMQP如何接收消息？

引入amqp的starter依赖
配置RabbitMQ地址
定义类，添加@Component注解
类中声明方法，添加@RabbitListener注解，方法参数就是消息
注意：消息一旦消费就会从队列删除，RabbitMQ没有消息回溯功能

3、Work Queue 工作队列

Work queues，也被称为（Task queues），任务模型。简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息。
在这里插入图片描述

当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。

此时就可以使用work 模型，多个消费者共同处理消息处理，速度就能大大提高了。

3.1 消息发送

这次我们循环发送，模拟大量消息堆积现象。

在publisher服务中的SpringAmqpTest类中添加一个测试方法：

/**
     * workQueue
     * 向队列中不停发送消息，模拟消息堆积。
     */
@Test
public void testWorkQueue() throws InterruptedException {
    // 队列名称
    String queueName = "simple.queue";
    // 消息
    String message = "hello, message_";
    for (int i = 0; i < 50; i++) {
        // 发送消息
        rabbitTemplate.convertAndSend(queueName, message + i);
        Thread.sleep(20);
    }
}

3.2 消息接收

要模拟多个消费者绑定同一个队列，我们在consumer服务的SpringRabbitListener中添加2个新的方法：

@RabbitListener(queues = "simple.queue")
public void listenWorkQueue1(String msg) throws InterruptedException {
    System.out.println("消费者1接收到消息：【" + msg + "】" + LocalTime.now());
    Thread.sleep(20);
}

@RabbitListener(queues = "simple.queue")
public void listenWorkQueue2(String msg) throws InterruptedException {
    System.err.println("消费者2........接收到消息：【" + msg + "】" + LocalTime.now());
    Thread.sleep(200);
}

启动ConsumerApplication后，在执行publisher服务中刚刚编写的发送测试方法testWorkQueue。

可以看到消费者1很快完成了自己的25条消息。消费者2却在缓慢的处理自己的25条消息。

也就是说消息是平均分配给每个消费者，并没有考虑到消费者的处理能力。这样显然是有问题的。

3.3 能者多劳

在spring中有一个简单的配置，可以解决这个问题。我们修改consumer服务的application.yml文件，添加配置：

spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息

3.4 总结

Work模型的使用：

多个消费者绑定到一个队列，同一条消息只会被一个消费者处理
通过设置prefetch来控制消费者预取的消息数量

4、发布(Publish)、订阅(Subscribe)

将同一消息发送给多个消费者。实现方式是加入了exchange(交换机)。
在这里插入图片描述

可以看到，在订阅模型中，多了一个exchange角色，而且过程略有变化：

Publisher：生产者，也就是要发送消息的程序，但是不再发送到队列中，而是发给X（交换机）
Exchange：交换机，图中的X。一方面，接收生产者发送的消息。另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。Exchange有以下3种类型：
- Fanout：广播，将消息交给所有绑定到交换机的队列
- Direct：定向，把消息交给符合指定routing key 的队列
- Topic：通配符，把消息交给符合routing pattern（路由模式）的队列
Consumer：消费者，与以前一样，订阅队列，没有变化
Queue：消息队列也与以前一样，接收消息、缓存消息。

Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

4.1 Fanout

Fanout Exchange会将接收到的消息广播到每一个跟其绑定的Queue
在这里插入图片描述
在广播模式下，消息发送流程是这样的：

1）可以有多个队列
2）每个队列都要绑定到Exchange（交换机）
3）生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定
4）交换机把消息发送给绑定过的所有队列
5）订阅队列的消费者都能拿到消息

4.1.1 基于配置类声明队列和交换机

Spring提供了一个接口Exchange，来表示所有不同类型的交换机：
在这里插入图片描述在consumer中创建一个配置类，添加@Configuration注解，声明FanoutExchange和Queue和绑定关系对象Binding，如下：

@Configuration
public class FanoutConfig {

	@Bean
	// 声明交换机
	public FanoutExchange fanoutExchange() {
		return new FanoutExchange("tp.fanout");
	}

	@Bean
	// 声明队列
	public Queue queue1() {
		return new Queue("fanout.queue1");
	}

	// 完成交换机和队列的绑定
	@Bean
	public Binding binding1(Queue queue1, FanoutExchange fanoutExchange) {
		// 把fanout.queue1绑定到fanoutExchange
		return BindingBuilder.bind(queue1).to(fanoutExchange);
	}

	@Bean
	// 声明队列
	public Queue queue2() {
		return new Queue("fanout.queue2");
	}

	// 完成交换机和队列的绑定
	@Bean
	public Binding binding2(Queue queue2, FanoutExchange fanoutExchange) {
		// 把fanout.queue1绑定到fanoutExchange
		return BindingBuilder.bind(queue2).to(fanoutExchange);
	}
}

4.1.2 消息发送

@Test
public void send2FanoutMsg() {

	// 第一个参数是交换机
	// 第二个参数是路由key
	// 第三个参数是信息
	this.rabbitTemplate.convertAndSend("tp.fanout", "", "hello");
}

4.1.3 消息接收

@RabbitListener(queues = "fanout.queue1")
	public void listenerFanoutMsg1(String msg) {
		System.out.println("fanout.queue1" + msg);
	}

	@RabbitListener(queues = "fanout.queue2")
	public void listenerFanoutMsg2(String msg) {
		System.out.println("fanout.queue2" + msg);
	}

4.1.4 总结

交换机的作用是什么？

接收publisher发送的消息
将消息按照规则路由到与之绑定的队列
不能缓存消息，路由失败，消息丢失
FanoutExchange的会将消息路由到每个绑定的队列

声明队列、交换机、绑定关系的Bean是什么？

Queue
FanoutExchange
Binding

4.2 DirectExchange

DirectExchange会将接收到的消息根据规则路由到指定的Queue，因此称为路由模式(routes)。
在Fanout模式中，一条消息，会被所有订阅的队列都消费。但是，在某些场景下，我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。
在这里插入图片描述

在Direct模型下：

队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）
消息的发送方在向 Exchange发送消息时，也必须指定消息的 RoutingKey。
Exchange不再把消息交给每一个绑定的队列，而是根据消息的Routing Key进行判断，只有队列的Routingkey与消息的 Routing key完全一致，才会接收到消息

案例需求如下：

利用@RabbitListener声明Exchange、Queue、RoutingKey
在consumer服务中，编写两个消费者方法，分别监听direct.queue1和direct.queue2
在publisher中编写测试方法，向itcast. direct发送消息

4.2.1 基于注解声明队列和交换机

基于@Bean的方式声明队列和交换机比较麻烦，Spring还提供了基于注解方式来声明。

在consumer的SpringRabbitListener中添加两个消费者，同时基于注解来声明队列和交换机：

@RabbitListener(bindings = @QueueBinding(
			value = @Queue(name = "direct.queue1"),
			exchange = @Exchange(name = "tp.direct",type = ExchangeTypes.DIRECT),
			key = {"red","blue"}
			))
	public void listenDirectMsg1(String msg) {
		System.out.println("direct.queue1" + msg);
	}

	@RabbitListener(bindings = @QueueBinding(
			value = @Queue(name = "direct.queue2"),
			exchange = @Exchange(name = "tp.direct",type = ExchangeTypes.DIRECT),
			key = {"red","yellow"}
	))
	public void listenDirectMsg2(String msg) {
		System.out.println("direct.queue2" + msg);
	}

4.2.2 消息发送

@Test
	public void send2DirectMsg() {

		// 第一个参数是交换机
		// 第二个参数是路由key
		// 第三个参数是信息
		this.rabbitTemplate.convertAndSend("tp.direct", "blue", "hello");
	}

4.2.3 总结

描述下Direct交换机与Fanout交换机的差异？

Fanout交换机将消息路由给每一个与之绑定的队列
Direct交换机根据RoutingKey判断路由给哪个队列
如果多个队列具有相同的RoutingKey，则与Fanout功能类似

基于@RabbitListener注解声明队列和交换机有哪些常见注解？

@Queue
@Exchange

4.3 TopicExchange

TopicExchange与DirectExchange类似，区别在于routingKey必须是多个单词的列表，并且以.分割。
Queue与Exchange指定BindingKey时可以使用同配符：
#：代指0个或多个单词
*：代指一个单词

实现思路如下：

利用@RabbitListener声明Exchange、Queue、RoutingKey
在consumer服务中，编写两个消费者方法，分别监听topic.queue1和topic.queue2
在publisher中编写测试方法，向itcast. topic发送消息

在这里插入图片描述

4.3.1 消息接收

在consumer服务的SpringRabbitListener中添加方法：

@RabbitListener(bindings = @QueueBinding(
    value = @Queue(name = "topic.queue1"),
    exchange = @Exchange(name = "tp.topic", type = ExchangeTypes.TOPIC),
    key = "china.#"
))
public void listenTopicQueue1(String msg){
    System.out.println("消费者接收到topic.queue1的消息：【" + msg + "】");
}

@RabbitListener(bindings = @QueueBinding(
    value = @Queue(name = "topic.queue2"),
    exchange = @Exchange(name = "tp.topic.topic", type = ExchangeTypes.TOPIC),
    key = "#.news"
))
public void listenTopicQueue2(String msg){
    System.out.println("消费者接收到topic.queue2的消息：【" + msg + "】");
}

4.3.2 消息发送

在publisher服务的SpringAmqpTest类中添加测试方法：

/**
     * topicExchange
     */
@Test
public void testSendTopicExchange() {
    // 交换机名称
    String exchangeName = "tp.topic";
    // 消息
    String message = "喜报！孙悟空大战哥斯拉，胜!";
    // 发送消息
    rabbitTemplate.convertAndSend(exchangeName, "china.news", message);
}

4.3.3 总结

描述下Direct交换机与Topic交换机的差异？

Topic交换机接收的消息RoutingKey必须是多个单词，以 . 分割
Topic交换机与队列绑定时的bindingKey可以指定通配符
#：代表0个或多个词
*：代表1个词

5、消息转换器

Spring会把你发送的消息序列化为字节发送给MQ，接收消息的时候，还会把字节反序列化为Java对象。
在这里插入图片描述
只不过，默认情况下Spring采用的序列化方式是JDK序列化。众所周知，JDK序列化存在下列问题：

数据体积过大
有安全漏洞
可读性差

5.1 测试默认转换器

我们先在consumer中声明一个obect.queue,启动consumer服务后，然后停止服务，这一步是为了让队列信息初测到RabbitMQ控制台。
然后，
我们修改消息发送的代码，发送一个Map对象：

@Test
public void testSendMap() throws InterruptedException {
    // 准备消息
    Map<String,Object> msg = new HashMap<>();
    msg.put("name", "Jack");
    msg.put("age", 21);
    // 发送消息
    rabbitTemplate.convertAndSend("simple.queue","", msg);
}

这个时候，消息还在队列中，通过控制台查看消息。
在这里插入图片描述

5.2 配置JSON转换器

显然，JDK序列化方式并不合适。我们希望消息体的体积更小、可读性更高，因此可以使用JSON方式来做序列化和反序列化。

在publisher和consumer两个服务中都引入依赖：

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-xml</artifactId>
    <version>2.9.10</version>
</dependency>

配置消息转换器。
在启动类中添加一个Bean即可：

@Bean
public MessageConverter jsonMessageConverter(){
    return new Jackson2JsonMessageConverter();
}

5.3 总结

SpringAMQP中消息的序列化和反序列化是怎么实现的？

利用MessageConverter实现的，默认是JDK的序列化
注意发送方和接收方必须使用相同的MessageConverter

hmmmgo

关注

22
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

RabbitMQ

文章目录

服务异步通讯——RabbitMQ

一、初识MQ

1、同步通讯和异步通讯

2、同步调用的问题

3、异步调用方案

4、什么是MQ

二、RabbitMQ快速入门

1、RabbitMQ概述

2、基于Docker安装RabbitMQ

3、RabbitMQ的接口和概念

4、常见消息模型

5、HelloWOrld案例

5.1 publisher实现思路：

5.2 consumer实现

三、SpringAMQP

1、什么是SpringAMQP

2、案例：利用SpringAMQP实现HelloWorld中的基础消息队列功能

2.1 引入AMQP依赖

2.2 在publisher中编写测试方法，向simple.queue发送消息

2.3 在consumer中编写消费逻辑，监听simple.queue

3、Work Queue 工作队列

3.1 消息发送

3.2 消息接收

3.3 能者多劳

3.4 总结

4、 发布(Publish)、订阅(Subscribe)

4.1 Fanout

4.1.1 基于配置类声明队列和交换机

4.1.2 消息发送

4.1.3 消息接收

4.1.4 总结

4.2 DirectExchange

4.2.1 基于注解声明队列和交换机

4.2.2 消息发送

4.2.3 总结

4.3 TopicExchange

4.3.1 消息接收

4.3.2 消息发送

4.3.3 总结

5、消息转换器

5.1 测试默认转换器

5.2 配置JSON转换器

5.3 总结

4、发布(Publish)、订阅(Subscribe)