RabbitMQ

RabbitMQ

1.MQ引言

1.1 什么是MQ

MQ(Message Quene) : 翻译为 消息队列,通过典型的 生产者消费者模型,生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件 通过利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。

1.2 MQ有哪些

当今市面上有很多主流的消息中间件,如老牌的ActiveMQRabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。

1.3 不同MQ特点

# 1.ActiveMQ
		ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。它是一个完全支持JMS规范的的消息中间件。丰富的API,多种集群架构模式让ActiveMQ在业界成为老牌的消息中间件,在中小型企业颇受欢迎!

# 2.Kafka
		Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费,
		追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,
		适合产生大量数据的互联网服务的数据收集业务。

# 3.RocketMQ
		RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起
		源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消
		息推送、日志流式处理、binglog分发等场景。

# 4.RabbitMQ
		RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和
		发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在
		其次。
		

RabbitMQ比Kafka可靠,Kafka更适合IO高吞吐的处理,一般应用在大数据日志处理或对实时性(少量延迟),可靠性(少量丢数据)要求稍低的场景使用,比如ELK日志收集。


2.RabbitMQ 的引言

2.1 RabbitMQ

基于AMQP协议,erlang语言开发,是部署最广泛的开源消息中间件,是最受欢迎的开源消息中间件之一。

image-20220822184039649

官网: https://www.rabbitmq.com/

官方教程: https://www.rabbitmq.com/#getstarted

 # AMQP 协议
 		AMQP(advanced message queuing protocol)`在2003年时被提出,最早用于解决金融领不同平台之间的消息传递交互问题。顾名思义,AMQP是一种协议,更准确的说是一种binary wire-level protocol(链接协议)。这是其和JMS的本质差别,AMQP不从API层进行限定,而是直接定义网络交换的数据格式。这使得实现了AMQP的provider天然性就是跨平台的。以下是AMQP协议模型:

image-20200311182438041

2.2 RabbitMQ 的安装

2.2.1 下载

官网下载地址: https://www.rabbitmq.com/download.html

image-20220822184304528

image-20220822184332751

image-20220822185317205

image-20220822185005668

因为 RabbitMQ 是用 Erlang 语言写的,所以我们不仅需要下载 RabbitMQ 的安装包,还需要下载 Erlang 语言的安装包

最新版本: 3.10.7

这里我下载的是 3.7.18 版本的 RabbitMQ

erlang包下载地址:https://packagecloud.io/rabbitmq/erlang

2.2.2 下载的安装包

image-20220822194033610

注意:这里的安装包是centos7安装的包

2.2.3 安装步骤
rabbitmq 在安装的时候需要用到 Erlang 语言的依赖和 Erlang 内存管理的依赖,所以在安装 rabbitmq 之前
需要先安装相关依赖包: erlang-22.0.7-1.el7.x86_64.rpm   socat-1.7.3.2-2.el7.x86_64.rpm


# 1.将rabbitmq安装包上传到linux系统中
	erlang-22.0.7-1.el7.x86_64.rpm
	rabbitmq-server-3.7.18-1.el7.noarch.rpm
	socat-1.7.3.2-2.el7.x86_64.rpm

# 2.安装Erlang及内存管理依赖包
	rpm -ivh erlang-22.0.7-1.el7.x86_64.rpm
	rpm -ivh socat-1.7.3.2-2.el7.x86_64.rpm

# 3.安装RabbitMQ安装包(需要联网)

	rpm -ivh rabbitmq-server-3.7.18-1.el7.noarch.rpm				# 安装包上传,本地安装
							或
	yum install -y rabbitmq-server-3.7.18-1.el7.noarch.rpm  # 在线安装

		注意:默认安装完成后配置文件模板在:/usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example目录中,需要	
				将配置文件复制到/etc/rabbitmq/目录中,并修改名称为rabbitmq.config
		安装完成之后需要对 rabbitmq 做一些配置才可以使用,默认读取的是 /etc/rabbitmq/rabbitmq.config 

# 4.复制配置文件
	cp /usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

# 5.查看配置文件位置
	ls /etc/rabbitmq

# 6.修改配置文件(参见下图:)
	vim /etc/rabbitmq/rabbitmq.config

	把来宾账户打开,因为 rabbitmq 给我们提供了一个 web 管理页面,这个 web 管理页面类似于
	后台管理一样,这个管理页面是用来对 rabbitmq 服务器做配置用的,日后咱们要对服务器做配置
	不能谁上去都能对服务器做配置呀,咱们得有一个权限,所以 rabbitmq 在配置里设置了用户的
	配置权限,所以第一次使用的时候必须打开来宾账户,如果不打开来宾账户,意味着即使看到后台
	管理界面,没有 用户名、密码 ,是不可能进入管理界面的,也不可能对 rabbitmq 做配置,所以
	需要去开放来宾账户,下面图示演示了如何开放来宾账户。

image-20220822215935659

将上图中配置文件中红色部分去掉%%(%%是注释的意思),以及最后的,逗号 修改为下图:

注意:后面的逗号一定要删去

image-20220822220304771

现在还不能立即去启动 rabbitmq,原因是 rabbitmq 给 咱们提供了一个管理界面,这个管理界面需要去启动一些插件才能看到对应的管理界面,所以我们接下来要做的就是通过 rabbitmq 的内置命令去启动 rabbitmq 的插件管理。

# 7.执行如下命令,启动rabbitmq中的插件管理
	rabbitmq-plugins enable rabbitmq_management	 启动rabbitmq的管理控制单元,也就是那个web控制界面

	出现如下说明:
    Enabling plugins on node rabbit@192:
    rabbitmq_management
    The following plugins have been configured:
      rabbitmq_management
      rabbitmq_management_agent
      rabbitmq_web_dispatch
    Applying plugin configuration to rabbit@192...
    The following plugins have been enabled:
      rabbitmq_management
      rabbitmq_management_agent
      rabbitmq_web_dispatch

    set 3 plugins.
    Offline change; changes will take effect at broker restart.

# 8.启动RabbitMQ的服务
	systemctl start rabbitmq-server							启动 rabbitmq 服务

	systemctl restart rabbitmq-server				    重启 rabbitmq 服务
	systemctl stop rabbitmq-server							关闭 rabbitmq 服务


# 9.查看服务状态(见下图:)
	systemctl status rabbitmq-server
	
  ● rabbitmq-server.service - RabbitMQ broker
     Loaded: loaded (/usr/lib/systemd/system/rabbitmq-server.service; disabled; vendor preset: disabled)
     Active: active (running) since 三 2019-09-25 22:26:35 CST; 7s ago
   Main PID: 2904 (beam.smp)
     Status: "Initialized"
     CGroup: /system.slice/rabbitmq-server.service
             ├─2904 /usr/lib64/erlang/erts-10.4.4/bin/beam.smp -W w -A 64 -MBas ageffcbf -MHas ageffcbf -
             MBlmbcs...
             ├─3220 erl_child_setup 32768
             ├─3243 inet_gethost 4
             └─3244 inet_gethost 4
      .........

image-20220822223339270

# 10.关闭防火墙服务
	systemctl disable firewalld						---- 从开机启动服务列表中移除
	systemctl stop firewalld  						---- 关闭防火墙

    Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
    Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.


# 11.访问web管理界面		web管理界面默认端口是15672,我们可以通过ip地址直接访问
	http://192.168.182.128:15672/

image-20220822223853871

# 12.登录管理界面
来宾账户登录:
	username:  guest
	password:  guest

image-20220822224200586


3. RabiitMQ 配置

3.1RabbitMQ 管理命令行

# 1.服务启动相关
	systemctl start|restart|stop|status rabbitmq-server

# 2.管理命令行  用来在不使用web管理界面情况下命令操作RabbitMQ
	rabbitmqctl list_users						---- 列出 rabbitmq 所有用户
	rabbitmqctl  help     					  ---- 其余的使用这个命令查看更多相关命令,用的时候找出来即可

# 3.插件管理命令行
	rabbitmq-plugins enable|list|disable 
	rabbitmq-plugins list             ----- 查看插件列表
	rabbitmq-plugins enabl xxx        ----- 启用某一个插件
	rabbitmq-plugins disable xxx      ----- 禁用某一个插件
	rabbitmq-plugins set xxx      		----- 对某一个插件进行重置

3.2 web管理界面介绍

3.2.1 overview概览

image-20191126162026720

  • connections:无论生产者还是消费者,都需要与RabbitMQ建立连接后才可以完成消息的生产和消费,在这里可以查看连接情况,哪些客户端与rabbitmq建立了连接

  • channels:通道,建立连接后,会形成通道,消息的投递获取依赖通道。

  • Exchanges:交换机(路由),用来实现消息的路由

    • AMQP default direct D 代表 AMQP default 是直连的方式,D代表存在在磁盘中的,也就是说日后不会随着 rabbitmq 重启或错误而丢失数据
  • Queues:队列,即消息队列,消息存放在队列中,等待消费,消费后被移除队列。日后是要绑定交互机的,和交换机之间有某种关系

  • Admin:用来对用户进行管理,日后可以对所有用户进行一个搜索、添加、删除等

3.2.2 Admin用户和虚拟主机管理
1. 添加用户

image-20191126162617280

上面的Tags选项,其实是指定用户的角色,可选的有以下几个:

  • 超级管理员(administrator)

    可登陆管理控制台,可查看所有的信息,并且可以对用户,策略(policy)进行操作。

  • 监控者(monitoring)

    可登陆管理控制台,同时可以查看rabbitmq节点的相关信息(进程数,内存使用情况,磁盘使用情况等)

  • 策略制定者(policymaker)

    可登陆管理控制台, 同时可以对policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)。

  • 普通管理者(management)

    仅可登陆管理控制台,无法看到节点信息,也无法对策略进行管理。

  • 其他

    无法登陆管理控制台,通常就是普通的生产者和消费者。

2. 创建虚拟主机
# 虚拟主机
	为了让各个用户可以互不干扰的工作,RabbitMQ添加了虚拟主机(Virtual Hosts)的概念。其实就是一个独立的访问路径,不同用户使用不同路径,各自有自己的队列、交换机,互相不会影响。

image-20191126163023153

3. 绑定虚拟主机和用户

创建好虚拟主机,我们还要给用户添加访问权限:

点击添加好的虚拟主机:

image-20191126163506795

进入虚拟机设置界面:

image-20191126163631889


4.RabbitMQ 的第一个程序

4.0 AMQP协议的回顾

image-20200312140114784

4.1 RabbitMQ支持的消息模型

image-20191126165434784

image-20191126165459282

4.2 引入依赖

<dependency>
    <groupId>com.rabbitmq</groupId>
    <artifactId>amqp-client</artifactId>
    <version>5.7.2</version>
</dependency>

application.yml 配置文件:

spring:
  application:
    name: rabbitmq-springboot
  rabbitmq:
    host: 192.168.204.129   # rabbitmq主机
    port: 5672              # 端口
    stream:
      username: ems         # rabbitmq用户名
      password: 123         # rabbitmq密码
    virtual-host: /ems      # 虚拟主机

我们需要提前在 rabbitmq 中创建虚拟主机,所谓虚拟主机就类似于数据库中的库,用来为我们的项目做一一的映射,日后不同的项目建立不同的虚拟主机。例:我们使用rabbitmq的web管理界面创建了一个 /ems 虚拟主机,然后创建一个用户(例如:ems) ,然后我们要让创建的用户绑定虚拟主机,使当前用户可以访问指定的虚拟主机。

4.3 第一种模型(直连)

image-20191126165840602

在上图的模型中,有以下概念:

  • P:生产者,也就是要发送消息的程序
  • C:消费者:消息的接受者,会一直等待消息到来。
  • queue:消息队列,图中红色部分。类似一个邮箱,可以缓存消息;生产者向其中投递消息,消费者从其中取出消息。
1. 开发生产者
  //创建连接工厂
  ConnectionFactory connectionFactory = new ConnectionFactory();
  connectionFactory.setHost("10.15.0.9");
  connectionFactory.setPort(5672);
  connectionFactory.setUsername("ems");
  connectionFactory.setPassword("123");
  connectionFactory.setVirtualHost("/ems");
  Connection connection = connectionFactory.newConnection();
  //创建通道
  Channel channel = connection.createChannel();
  //参数1: 是否持久化  参数2:是否独占队列 参数3:是否自动删除  参数4:其他属性
  channel.queueDeclare("hello",true,false,false,null);
  channel.basicPublish("","hello", null,"hello rabbitmq".getBytes());
  channel.close();
  connection.close();

测试类:


public class Provider {

    // 生产消息
    @Test
    public void testSendMessage() throws IOException, TimeoutException {

/*        // 创建连接mq的连接工厂对象
        ConnectionFactory connectionFactory = new ConnectionFactory();
        // 设置连接rabbitmq主机
        connectionFactory.setHost("192.168.182.128");
        // 设置端口号
        connectionFactory.setPort(5672);
        // 设置连接哪个虚拟主机
        connectionFactory.setVirtualHost("/ems");
        // 设置访问虚拟主机的用户名和密码(和虚拟主机绑定的用户)
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");
        // 通过上面的操作就和rabbitmq建立了连接

        // 获取连接对象
        Connection connection = connectionFactory.newConnection();*/
        // 通过工具类获取连接对象
        Connection connection = RabbitMQUtils.getConnection();

        // 获取连接中的通道对象  (真正传递消息是建立连接之后连接通过通道去传递消息,所以我们需要通过连接获取连接中的通道)
        Channel channel = connection.createChannel();  //

        // 通道绑定对应消息队列    (通道和队列之间一定要有一个声明或者一个绑定,通道才知道把消息发送给哪个消息队列)
        // 参数1:队列名称 如果队列不存在自动创建
        // 参数2:用来定义队列的特性是否要持久化,true 持久化队列(存到磁盘中) false 不持久化 (仅仅是队列持久化,不保证队列中消息持久化)
        // 参数3:exclusive 是否独占队列 true 独占队列 false 不独占(这个队列是否只有当前连接可用,其他连接不可以再用)
        // 参数4:autoDelete 是否在消费完成后自动删除队列 true 自动删除 false 不自动删除
        // 参数5:额外附加参数
        channel.queueDeclare("hello", true, false, false, null);
        /*
            并不是某个通道绑定哪个队列才只能往这个队列发送消息,通道不绑定某个队列也可以向这个队列发送消息
         */

        // 通过通道发布消息
        // 参数1:交换机名称(因为我们这次写的是点对点,直接到队列,没有交换机,写 "" )
        // 参数2:队列名称
        // 参数3:传递消息额外设置,我们可以传入一个属性(MessageProperties.PERSISTENT_TEXT_PLAIN),让我们队列中的消息进行持久化
        // 参数4:消息的具体内容
        channel.basicPublish("", "hello", null, "hello rabbitmq".getBytes());
        channel.basicPublish("", "hello", MessageProperties.PERSISTENT_TEXT_PLAIN, "hello word".getBytes());



        /*// 释放资源
        channel.close();
        connection.close();*/
        // 调用工具类关闭
        RabbitMQUtils.closeConnectionAndChanel(channel, connection);
    }
}

image-20220823114552305

image-20220823114622069

image-20220823114729718

2. 开发消费者

消费者得和生产者绑定同一个虚拟主机,紧接着在生产者发的队列中拿到消息,所以消费者也要找到对应的虚拟主机、对应的队列才能去消费。

  //创建连接工厂
  ConnectionFactory connectionFactory = new ConnectionFactory();
  connectionFactory.setHost("10.15.0.9");
  connectionFactory.setPort(5672);
  connectionFactory.setUsername("ems");
  connectionFactory.setPassword("123");
  connectionFactory.setVirtualHost("/ems");
  Connection connection = connectionFactory.newConnection();
  Channel channel = connection.createChannel();
  channel.queueDeclare("hello", true, false, false, null);
  channel.basicConsume("hello",true,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
      System.out.println(new String(body));
    }
  });

测试

public class Consumer {

    public static void main(String[] args) throws IOException, TimeoutException {
        // 创建连接工厂
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("192.168.182.128");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/ems");
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");

        // 创建连接对象
        Connection connection = connectionFactory.newConnection();

        // 创建通道
        Channel channel = connection.createChannel();

        // 通道绑定队列
        channel.queueDeclare("hello", false, false, false, null); // 消费端一定要和生产端对应上

        // 消费消息
        // 参数1:消费哪一个队列的消息
        // 参数2:是否开启消息自动确认机制
        // 参数3:消费消息时的回调接口,把当前的通道传进去
        channel.basicConsume("hello", true, new DefaultConsumer(channel){
            // 这里第三个参数使用了匿名内部类实现

            @Override           // 参数1:标签  参数2:消息传递的信封    参数3:传的一些属性   参数4 body :消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("new String(body) = " + new String(body));
            }
        });

        // 释放资源
        // (如果不释放的话会一直监听我们的队列,建议不释放,因为我们要一直做处理,如果释放可能还没来得及执行回调方法,main线程已经关闭了)
        // channel.close();
        // connection.close();

    }
}

image-20220823160427372

image-20220823160538681

我们可以发现,上面生产者和消费者有代码冗余,所以我们可以封装工具类RabbitMQUtils,并将生产者和消费者相应冗余代码替换掉。

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class RabbitMQUtils {

    private static ConnectionFactory connectionFactory;

    static {
        // 创建连接工厂,连接工厂属于重量级资源 (静态代码块中的资源是在类加载的时候执行,只执行一次)
        connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("192.168.182.128");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/ems");
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");
    }

    // 定义提供连接对象的方法
    public static Connection getConnection(){
        try {
            // 返回连接对象
            return connectionFactory.newConnection();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

    // 关闭通道和关闭连接工具方法
    public static void closeConnectionAndChanel(Channel channel, Connection conn){
        try {
            if(channel != null) channel.close();
            if(conn != null) conn.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
3. 参数的说明
  channel.queueDeclare("hello",true,false,false,null);
	'参数1':用来声明通道对应的队列
  '参数2':用来指定是否持久化队列
  '参数3':用来指定是否独占队列
  '参数4':用来指定是否自动删除队列
  '参数5':对队列的额外配置

4.4 第二种模型(work quene)

Work queues,也被称为(Task queues),任务模型。当消息处理比较耗时的时候,可能生产消息的速度会远远大于消息的消费速度。长此以往,消息就会堆积越来越多,无法及时处理。此时就可以使用work 模型:让多个消费者绑定到一个队列,共同消费队列中的消息。队列中的消息一旦消费,就会消失,因此任务是不会被重复执行的。

image-20200314221002008

角色:

  • P:生产者:任务的发布者
  • C1:消费者-1,领取任务并且完成任务,假设完成速度较慢
  • C2:消费者-2:领取任务并完成任务,假设完成速度快
1. 开发生产者
channel.queueDeclare("hello", true, false, false, null);
for (int i = 0; i < 10; i++) {
  channel.basicPublish("", "hello", null, (i+"====>:我是消息").getBytes());
}

生产者类:

public class Provider {

    public static void main(String[] args) throws IOException {
        // 获取连接对象(使用我们自己写的工具类)
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道对象
        Channel channel = connection.createChannel();

        // 通过通道声明队列   work队列   持久化    不独占     不自动删除  不传额外的参数
        channel.queueDeclare("work", true, false, false, null);

        for (int i = 0; i < 10; i++) {
            // 生产消息           交互机  work队列   消息持久化方式       消息
            channel.basicPublish("", "work", null, (i + "hello work queue").getBytes());
        }
      
        // 关闭资源
        RabbitMQUtils.closeConnectionAndChanel(channel, connection);
    }
}
2.开发消费者-1
channel.queueDeclare("hello",true,false,false,null);
channel.basicConsume("hello",true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});

消费者1的类:

public class Consumer1 {
    public static void main(String[] args) throws IOException {
        // 获取连接对象(使用我们自己写的工具类)
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道
        Channel channel = connection.createChannel();
        // 通道绑定队列
        channel.queueDeclare("work", true, false, false, null);
        // 消费消息           队列名称   自动确认    回调接口(写消费的具体逻辑)
        channel.basicConsume("work", true, new DefaultConsumer(channel){
            @Override             // 参数1:标签  参数2:消息传递的信封    参数3:传的一些属性   参数4 body :消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者-1:" + new String(body));
            }
        });
    }
}
3.开发消费者-2
channel.queueDeclare("hello",true,false,false,null);
channel.basicConsume("hello",true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    try {
      Thread.sleep(1000);   //处理消息比较慢 一秒处理一个消息
    } catch (InterruptedException e) {
      e.printStackTrace();
    }
    System.out.println("消费者2: "+new String(body));  
  }
});

消费者2的类:

public class Consumer2 {
    public static void main(String[] args) throws IOException {
        // 获取连接对象(使用我们自己写的工具类)
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道
        Channel channel = connection.createChannel();
        // 通道绑定队列
        channel.queueDeclare("work", true, false, false, null);
        // 消费消息           队列名称   自动确认    回调接口(写消费的具体逻辑)
        channel.basicConsume("work", true, new DefaultConsumer(channel){
            @Override              // 参数1:标签  参数2:消息传递的信封    参数3:传的一些属性   参数4 body :消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者-2:" + new String(body));
            }
        });
    }
}
4.测试结果

image-20220823220129743

image-20220823220113667

image-20200314223302207

总结:默认情况下,RabbitMQ将按顺序将每个消息发送给下一个使用者。平均而言,每个消费者都会收到相同数量的消息。这种分发消息的方式称为循环。

平均分配:当其中某一个消费者处理比较慢的时候,会拖垮系统的运行速度

我们更希望处理快的日后能多处理一点,处理慢的能少处理一点,不想让它出现平均处理的这种情况,意思是能者多劳,谁能力强谁就多干,谁能力弱谁就少干一点。那么怎么做呢,往下看吧!

5.消息自动确认机制

Doing a task can take a few seconds. You may wonder what happens if one of the consumers starts a long task and dies with it only partly done. With our current code, once RabbitMQ delivers a message to the consumer it immediately marks it for deletion. In this case, if you kill a worker we will lose the message it was just processing. We’ll also lose all the messages that were dispatched to this particular worker but were not yet handled.

But we don’t want to lose any tasks. If a worker dies, we’d like the task to be delivered to another worker.

所谓消息确认就是当生产者把消息放到消息队列之后,消息队列本身存储这些消息,紧接着当消费者消费的过程中确认,消息自动确认可能会有一个问题,什么问题呢,平均分配的时候消息队列一次性的把每个消费者对应的所有消息给消费者,由于自动确认,会有一个非常显著的问题,这种情况不关心消费者业务有没有处理完,它只要拿到这些平均分配的消息,它就告诉队列这些消息已经消费完了,此时队列就把分给对应消费者的消息删除了,但实际上消费者在拿到这些消息之后需要经过漫长的业务去执行。假如一个消费者拿到5个消息,消费到第三个消息的时候,自己宕机,还剩2个消息,此时由于自动确认机制导致剩下2个消息丢失,这种情况对于我们的业务的影响实际上是非常大的。所以我们在使用的时候不建议使用自动确认,我们更希望剩下未被处理的消息交给另外的消费者。那我们应该怎么做呢。1.关闭消息自动确认机制,所谓关闭消息确认,我们不能一次性告诉它这些消息都消费了,不会自动确认消息,也就是说当消息即使被消费了,在队列中这个消息标记的同样是未被消费的,2.我们要做的就是我们要告诉消息队列,在执行消息的时候不能一次性把每个消费者对应的这些消息都给消费者,我们要让消费者在消费消息的时候当前的一个通道只能消费一个消息。

只要消息未被确认它就会在队列中保留

channel.basicQos(1);//一次只接受一条未确认的消息
//参数2:关闭自动确认消息
channel.basicConsume("hello",false,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
    channel.basicAck(envelope.getDeliveryTag(),false);//手动确认消息
  }
});
  • 设置通道一次只能消费一个消息
  • 关闭消息的自动确认,开启手动确认消息

消费者1

public class Consumer1 {
    public static void main(String[] args) throws IOException {
        // 获取连接对象(使用我们自己写的工具类)
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道
        final Channel channel = connection.createChannel();
        channel.basicQos(1);    // 设置一个通道只能同时处理一个消息
        // 通道绑定队列
        channel.queueDeclare("work", true, false, false, null);
        // 消费消息           队列名称   自动确认    回调接口(写消费的具体逻辑)
        channel.basicConsume("work", false, new DefaultConsumer(channel){
            @Override             // 参数1:标签  参数2:消息传递的信封    参数3:传的一些属性   参数4 body :消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                try {
                    Thread.sleep(2000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                System.out.println("消费者-1:" + new String(body));
                // 手动确认     确认队列中的哪个具体消息      false 是否开启多个消息同时确认
                channel.basicAck(envelope.getDeliveryTag(), false);
            }
        });
    }
}

消费者2

public class Consumer2 {
    public static void main(String[] args) throws IOException {
        // 获取连接对象(使用我们自己写的工具类)
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道
        final Channel channel = connection.createChannel();
        channel.basicQos(1);    // 设置一个通道只能同时处理一个消息
        // 通道绑定队列
        channel.queueDeclare("work", true, false, false, null);
        // 消费消息           队列名称   自动确认    回调接口(写消费的具体逻辑)
        channel.basicConsume("work", false, new DefaultConsumer(channel){
            @Override              // 参数1:标签  参数2:消息传递的信封    参数3:传的一些属性   参数4 body :消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者-2:" + new String(body));
                // 手动确认     确认队列中的哪个具体消息      false 是否开启多个消息同时确认
                channel.basicAck(envelope.getDeliveryTag(), false);
            }
        });
    }
}

image-20220824063828173

image-20220824063805483

4.5 第三种模型(fanout)

fanout 扇出 也称为广播

image-20191126213115873

在广播模式下,消息发送流程是这样的:

  • 可以有多个消费者
  • 每个消费者有自己的queue(队列)
  • 每个队列都要绑定到Exchange(交换机)
  • 生产者发送的消息,只能发送到交换机,交换机来决定要发给哪个队列,生产者无法决定。
  • 交换机把消息发送给绑定过的所有队列
  • 队列的消费者都能拿到消息。实现一条消息被多个消费者消费
1. 开发生产者
//声明交换机
channel.exchangeDeclare("logs","fanout");//广播 一条消息多个消费者同时消费
//发布消息
channel.basicPublish("logs","",null,"hello".getBytes());

生产者类:

public class Provider {

    public static void main(String[] args) throws IOException {
        // 获取连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 创建通道对象
        Channel channel = connection.createChannel();

        // 将通道声明指定的交换机  交换机名字  交换机类型fanout:广播类型   注;交换机不存在的话会自动创建
        channel.exchangeDeclare("logs", "fanout");  // 广播的话交换机类型必须写 fanout

        // 发送消息         交换机名字  路由key    消息持久化特性         消息
        channel.basicPublish("logs", "", null, "fanout type message".getBytes());

        // 释放资源
        RabbitMQUtils.closeConnectionAndChanel(channel, connection);

    }
}
2. 开发消费者-1
//绑定交换机
channel.exchangeDeclare("logs","fanout");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//将临时队列绑定exchange
channel.queueBind(queue,"logs","");
//处理消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});

消费者1类:

public class Consumer1 {

    public static void main(String[] args) throws IOException {
        // 获取连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道对象
        Channel channel = connection.createChannel();

        // 通道绑定交换机      交换机名字     交换机类型
        channel.exchangeDeclare("logs", "fanout");      // 消费者一定要和生产者对应上

        // 临时队列的名字(没有必要创建持久队列,减轻Rabbitmq中队列的数量)
        String queueName = channel.queueDeclare().getQueue();

        // 绑定交换机和队列(通过通道把它俩组合到一起)   队列名字  哪个交换机   路由key
        channel.queueBind(queueName, "logs", "");

        // 消费消息           队列名字   是否自动确认    回调接口用来消费消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者1:" + new String(body));
            }
        });
    }
}
3. 开发消费者-2
//绑定交换机
channel.exchangeDeclare("logs","fanout");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//将临时队列绑定exchange
channel.queueBind(queue,"logs","");
//处理消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者2: "+new String(body));
  }
});

消费者2类:


public class Consumer2 {

    public static void main(String[] args) throws IOException {
        // 获取连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道对象
        Channel channel = connection.createChannel();

        // 通道绑定交换机      交换机名字     交换机类型
        channel.exchangeDeclare("logs", "fanout");      // 消费者一定要和生产者对应上

        // 临时队列的名字(没有必要创建持久队列,减轻Rabbitmq中队列的数量)
        String queueName = channel.queueDeclare().getQueue();

        // 绑定交换机和队列(通过通道把它俩组合到一起)   队列名字  哪个交换机   路由key
        channel.queueBind(queueName, "logs", "");

        // 消费消息           队列名字   是否自动确认    回调接口用来消费消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者2:" + new String(body));
            }
        });
    }
}

4.开发消费者-3
//绑定交换机
channel.exchangeDeclare("logs","fanout");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//将临时队列绑定exchange
channel.queueBind(queue,"logs","");
//处理消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者3: "+new String(body));
  }
});

消费者3类:

public class Consumer3 {

    public static void main(String[] args) throws IOException {
        // 获取连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道对象
        Channel channel = connection.createChannel();

        // 通道绑定交换机      交换机名字     交换机类型
        channel.exchangeDeclare("logs", "fanout");      // 消费者一定要和生产者对应上

        // 临时队列的名字(没有必要创建持久队列,减轻Rabbitmq中队列的数量)
        String queueName = channel.queueDeclare().getQueue();

        // 绑定交换机和队列(通过通道把它俩组合到一起)   队列名字  哪个交换机   路由key
        channel.queueBind(queueName, "logs", "");

        // 消费消息           队列名字   是否自动确认    回调接口用来消费消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者3:" + new String(body));
            }
        });
    }
}
5. 测试结果

image-20220824082807196

image-20220824082823255

image-20220824082841071


4.6 第四种模型(Routing)

4.6.1 Routing 之订阅模型-Direct(直连)

在Fanout模式中,一条消息,会被所有订阅的队列都消费。但是,在某些场景下,我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。

在Direct模型下:

  • 队列与交换机的绑定,不能是任意绑定了,而是要指定一个RoutingKey(路由key)
  • 消息的发送方在 向 Exchange发送消息时,也必须指定消息的 RoutingKey
  • Exchange不再把消息交给每一个绑定的队列,而是根据消息的Routing Key进行判断,只有队列的Routingkey与消息的 Routing key完全一致,才会接收到消息

流程:

image-20191126220145375

图解:

  • P:生产者,向Exchange发送消息,发送消息时,会指定一个routing key。
  • X:Exchange(交换机),接收生产者的消息,然后把消息递交给 与routing key完全匹配的队列
  • C1:消费者,其所在队列指定了需要routing key 为 error 的消息
  • C2:消费者,其所在队列指定了需要routing key 为 info、error、warning 的消息
1. 开发生产者
//声明交换机  参数1:交换机名称 参数2:交换机类型 基于指令的Routing key转发
channel.exchangeDeclare("logs_direct","direct");
String key = "";
//发布消息
channel.basicPublish("logs_direct",key,null,("指定的route key"+key+"的消息").getBytes());

生产者类:

public class Provider {

    public static void main(String[] args) throws IOException {
        // 获取连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 获取通道对象
        Channel channel = connection.createChannel();

        // 定义交换机名字
        String exchangeName = "logs_direct";

        // 通过通道声明交换机      交换机名字     交换机类型:direct路由模式
        channel.exchangeDeclare(exchangeName, "direct");
        // 定义routingKey (内容写什么都行,相当于一个标识)
        String routingKey = "info";
        // 发送消息             交换机名字       路由key      消息是否持久化
        channel.basicPublish(exchangeName, routingKey, null, ("这是direct模型发布的基于route key: [" + routingKey + "] 发送的消息").getBytes());

        // 关闭资源
        RabbitMQUtils.closeConnectionAndChanel(channel, connection);

    }
}
2.开发消费者-1
 //声明交换机
channel.exchangeDeclare("logs_direct","direct");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列和交换机
channel.queueBind(queue,"logs_direct","error");
channel.queueBind(queue,"logs_direct","info");
channel.queueBind(queue,"logs_direct","warn");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});

消费者1类:

public class Consumer1 {

    public static void main(String[] args) throws IOException {
        // 创建连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 创建通道对象
        Channel channel = connection.createChannel();

        // 定义交换机名字
        String exchangeName = "logs_direct";

        // 通道声明(绑定)交换机以及交换机的类型  交换机的名字 交换机的类型
        channel.exchangeDeclare(exchangeName, "direct");

        // 创建一个临时队列名字
        String queue = channel.queueDeclare().getQueue();

        // 基于routeKey绑定队列和交换机 队列的名字 交换机名字 路由key
        channel.queueBind(queue, exchangeName, "error");

        // 消费消息         队列名字   自动确认     回调接口:用来消费消息
        channel.basicConsume(queue, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者1:" + new String(body));
            }
        });
    }
}
3.开发消费者-2
//声明交换机
channel.exchangeDeclare("logs_direct","direct");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列和交换机
channel.queueBind(queue,"logs_direct","error");
//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者2: "+new String(body));
  }
});

消费者2类:

public class Consumer2 {

    public static void main(String[] args) throws IOException {
        // 创建连接对象
        Connection connection = RabbitMQUtils.getConnection();
        // 创建通道对象
        Channel channel = connection.createChannel();

        // 定义交换机名字
        String exchangeName = "logs_direct";

        // 通道声明(绑定)交换机以及交换机的类型  交换机的名字 交换机的类型
        channel.exchangeDeclare(exchangeName, "direct");

        // 创建一个临时队列名字
        String queue = channel.queueDeclare().getQueue();

        // 基于routeKey绑定队列和交换机 队列的名字 交换机名字 路由key
        channel.queueBind(queue, exchangeName, "info");
        channel.queueBind(queue, exchangeName, "error");
        channel.queueBind(queue, exchangeName, "warning");

        // 消费消息         队列名字   自动确认     回调接口:用来消费消息
        channel.basicConsume(queue, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println("消费者2:" + new String(body));
            }
        });
    }
}
4.测试生产者发送Route key为error的消息时

image-20220824151925213

image-20220824152001880

5.测试生产者发送Route key为info的消息时

image-20220824151301266

image-20220824151349268


4.6.2 Routing 之订阅模型-Topic(第五种模型)

Topic类型的ExchangeDirect相比,都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符!这种模型Routingkey 一般都是由一个或多个单词组成,多个单词之间以”.”分割,例如: item.insert

image-20191127121900255

# 统配符
		* (star) can substitute for exactly one word.    匹配不多不少恰好1个词
		# (hash) can substitute for zero or more words.  匹配一个或多个词
# 如:
		audit.#    匹配audit.irs.corporate或者 audit.irs 等
    audit.*   只能匹配 audit.irs
1.开发生产者
//生命交换机和交换机类型 topic 使用动态路由(通配符方式)
channel.exchangeDeclare("topics","topic");
String routekey = "user.save";//动态路由key
//发布消息
channel.basicPublish("topics",routekey,null,("这是路由中的动态订阅模型,route key: ["+routekey+"]").getBytes());

生产者类:

2.开发消费者-1

Routing Key中使用*通配符方式

 //声明交换机
channel.exchangeDeclare("topics","topic");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列与交换机并设置获取交换机中动态路由
channel.queueBind(queue,"topics","user.*");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});
3.开发消费者-2

Routing Key中使用#通配符方式

//声明交换机
channel.exchangeDeclare("topics","topic");
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列与交换机并设置获取交换机中动态路由
channel.queueBind(queue,"topics","user.#");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者2: "+new String(body));
  }
});
4.测试结果

image-20220824185423909

image-20220824185443193

image-20200316113935785

image-20200316114000459

5. SpringBoot中使用RabbitMQ

5.0 搭建初始环境

1. 引入依赖
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
2. 配置配置文件
spring:
  application:
    name: springboot_rabbitmq
  rabbitmq:
    host: 10.15.0.9
    port: 5672
    username: ems
    password: 123
    virtual-host: /ems

RabbitTemplate 用来简化操作 使用时候直接在项目中注入即可使用

5.1 第一种hello world模型使用

  1. 开发生产者
    @SpringBootTest(classes = RabbitmqSpringbootApplication.class)         // 启动测试,指定测试的类
    @RunWith(SpringRunner.class)        // 启动Spring工厂
    public class TestRabbitMQ {
    
        // 注入 rabbitTemplate
        @Autowired
        private RabbitTemplate rabbitTemplate;
    
        // hello world 模型
        @Test
        public void testHello(){
            // 转换和发送(转换:把消息转化为byte)  参数1:队列名称  参数2:发的消息
            rabbitTemplate.convertAndSend("hello", "hello world");
    
            //  注:如果指定的队列没有生产者是不会自动创建队列的,
            //      因为如果队列没有消费者的话队列没有意义,队列自动创建是在消费者运行时创建的
        }
    }
    
  2. 开发消费者
    // rabbitmq中的消费者要加这个注解代表是rabbitmq中的消费者,监听,参数为指定这个消费者监听哪个队列的消息
    // 默认持久化,非独占,不自动删除。 怎么设置是否独占,是否自动删除呢,在@RabbitListener类注解中参数设置
    // @RabbitListener(queuesToDeclare = @Queue(value = "hello", durable = "false", autoDelete = "true")) 不持久化 自动删除
    @Component
    @RabbitListener(queuesToDeclare = @Queue(value = "hello"))
    public class HelloConsumer {
    
        // 定义方法,方法名随便
        @RabbitHandler              // 表示这个方法是日后从队列中取出消息时的回调方法(即消费)
        public void receive1(String message){   // message就是消息队列中的消息
            System.out.println("message = " + message);
        }
    
    }
    

5.2 第二种work模型使用

  1. 开发生产者
    @Autowired
    private RabbitTemplate rabbitTemplate;
    
    // work 模型
    @Test
    public void testWork(){           // 队列名称            发的消息
      for (int i = 0; i < 10; i++) {
        rabbitTemplate.convertAndSend("work", "work模型" + i);
      }
    }
    
  2. 开发消费者
    @Component
    public class WorkConsumer {
    
        // 一个消费者
        //                                work表示队列名字
        @RabbitListener(queuesToDeclare = @Queue("work"))  // @RabbitListener加在方法上代表这个方法会处理@RabbitListener监听的队列
        public void receive1(String message){
            System.out.println("work message1 = " + message);
        }
    
        // 一个消费者
        @RabbitListener(queuesToDeclare = @Queue("work"))
        public void receive2(String message){
            System.out.println("work message2 = " + message);
        }
    }
    

    说明:默认在Spring AMQP实现中Work这种方式就是公平调度,如果需要实现能者多劳需要额外配置

5.3 Fanout 广播模型

  1. 开发生产者
    @Autowired
    private RabbitTemplate rabbitTemplate;
    
    // fanout 广播
    @Test
    public void testFanout() throws InterruptedException { // 参数1:交换机名称  参数2:路由key  参数3:发送的消息
      rabbitTemplate.convertAndSend("logs","","Fanout的模型发送的消息");
    }
    
  2. 开发消费者
    @Component
    public class FanoutConsumer {
    
        @RabbitListener(bindings = @QueueBinding(  // @QueueBinding绑定注解
                value = @Queue,     // @Queue表示生成临时队列,指定名称的话 @Queue("xxx")
                exchange = @Exchange(name="logs",type = "fanout")   // 交换机的名字 交换机的类型
        ))
        public void receive1(String message){
            System.out.println("message1 = " + message);
        }
    
        @RabbitListener(bindings = @QueueBinding(
                value = @Queue, //创建临时队列
                exchange = @Exchange(name="logs",type = "fanout")  //绑定交换机类型
        ))
        public void receive2(String message){
            System.out.println("message2 = " + message);
        }
    
    }
    

5.4 Route 路由模型

  1. 开发生产者
    @Autowired
    private RabbitTemplate rabbitTemplate;
    
    // route 路由模式
    @Test
    public void testRoute (){          // 交换机名字   路由key   发送的消息
      rabbitTemplate.convertAndSend("directs","error","发送info的key的路由信息");
    }
    
  2. 开发消费者
    @Component
    public class RouteConsumer {
    
        @RabbitListener(bindings ={
                @QueueBinding(
                        value = @Queue,         // 创建临时队列
                        exchange = @Exchange(value = "directs", type = "direct"),    // 交换机名字 交换机类型
                        key = {"info","error","warn"}  // 路由key数组
                )})
        public void receive1(String message){
            System.out.println("message1 = " + message);
        }
    
        @RabbitListener(bindings ={
                @QueueBinding(
                        value = @Queue,         // 创建临时队列
                        exchange = @Exchange(value = "directs", type = "direct"),    // 交换机名字 交换机类型
                        key = {"error"}  // 路由key数组
                )})
        public void receive2(String message){
            System.out.println("message2 = " + message);
        }
    }
    

5.5 Topic 订阅模型(动态路由模型)

  1. 开发生产者
    @Autowired
    private RabbitTemplate rabbitTemplate;
    
    //topic 动态路由 订阅模式
    @Test
    public void testTopic(){            // 交换机名字   路由key   发送的消息
      rabbitTemplate.convertAndSend("topics","order","order 路由消息");
    }
    
  2. 开发消费者
    @Component
    public class TopicConsumer {
    
        @RabbitListener(bindings = {
                @QueueBinding(
                        value = @Queue,         // 临时队列
                        exchange = @Exchange(type = "topic",name = "topics"),  // 交换机类型  交换机名字
                        key = {"user.save", "user.*"}        // 路由key数组
                )
        })
        public void receive1(String message){
            System.out.println("message1 = " + message);
        }
    
        @RabbitListener(bindings = {
                @QueueBinding(
                        value = @Queue,         // 临时队列
                        exchange = @Exchange(type = "topic",name = "topics"),  // 交换机类型  交换机名字
                        key = {"order.#", "product.#", "user.*"}        // 路由key数组
                )
        })
        public void receive2(String message){
            System.out.println("message2 = " + message);
        }
    }
    

6. MQ的应用场景

6.1 异步处理

场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种 1.串行的方式 2.并行的方式

  • 串行方式: 将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西.

这里写图片描述

  • 并行方式: 将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。

这里写图片描述

  • 消息队列:假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响,客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回. 消息队列: 引入消息队列后,把发送邮件,短信不是必须的业务逻辑异步处理

    img

由此可以看出,引入消息队列后,用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3倍,是并行的2倍。

6.2 应用解耦

场景:双11是购物狂节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口.

这里写图片描述

这种做法有一个缺点:

当库存系统出现故障时,订单就会失败。 订单系统和库存系统高耦合. 引入消息队列

这里写图片描述

  • 订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。

  • 库存系统:订阅下单的消息,获取下单消息,进行库操作。 就算库存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失.

6.3 流量削峰

场景: 秒杀活动,一般会因为流量过大,导致应用挂掉,为了解决这个问题,一般在应用前端加入消息队列。

作用:

​ 1.可以控制活动人数,超过此一定阀值的订单直接丢弃(我为什么秒杀一次都没有成功过呢^^)

​ 2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)

这里写图片描述

1.用户的请求,服务器收到之后,首先写入消息队列,加入消息队列长度超过最大值,则直接抛弃用户请求或跳转到错误页面.

2.秒杀业务根据消息队列中的请求信息,再做后续处理.


7. RabbitMQ的集群

7.1 集群架构

7.1.1 普通集群(副本集群)

All data/state required for the operation of a RabbitMQ broker is replicated across all nodes. An exception to this are message queues, which by default reside on one node, though they are visible and reachable from all nodes. To replicate queues across nodes in a cluster --摘自官网

默认情况下:RabbitMQ代理操作所需的所有数据/状态都将跨所有节点复制。这方面的一个例外是消息队列,默认情况下,消息队列位于一个节点上,尽管它们可以从所有节点看到和访问

rabbitmq普通集群从节点仅仅是做一个备份,但是不会备份主节点的队列,当主节点宕机,从节点并不会转换为主节点提供服务。(镜像集群下从节点可以代替主节点提供服务,镜像集群是在普通集群基础之上搭建的)

  1. 架构图

image-20200320094147471

​ 核心解决问题: 当集群中某一时刻master节点宕机,可以对Queue中信息,进行备份

  1. 集群搭建

    改ip,改对应的主机名 以及 ip和主机名之间的映射

    # 0.集群规划
    	node1: 192.168.204.129  mq1  master 主节点
    	node2: 192.168.204.130  mq2  repl1  副本节点
    	node3: 192.168.204.131  mq3  repl2  副本节点
    
    # 1.克隆三台机器主机名和ip映射
    	vim /etc/hosts加入:
    		 192.168.204.129 mq1
         192.168.204.130 mq2
         192.168.204.131 mq3
    	node1: vim /etc/hostname 加入:  mq1
    	node2: vim /etc/hostname 加入:  mq2
    	node3: vim /etc/hostname 加入:  mq3
    
    # 2.三个机器安装rabbitmq,并同步cookie文件,在node1上执行:(在同步时先关闭rabbitmq)
    	scp /var/lib/rabbitmq/.erlang.cookie root@mq2:/var/lib/rabbitmq/
    	scp /var/lib/rabbitmq/.erlang.cookie root@mq3:/var/lib/rabbitmq/
    
    # 3.查看cookie是否一致:
    	node1: cat /var/lib/rabbitmq/.erlang.cookie 
    	node2: cat /var/lib/rabbitmq/.erlang.cookie 
    	node3: cat /var/lib/rabbitmq/.erlang.cookie 
    
    # 4.后台启动rabbitmq所有节点执行如下命令,启动成功访问管理界面:
    	rabbitmq-server -detached 
    
    # 5.在node2和node3执行下面集群命令:
    	1.关闭       rabbitmqctl stop_app
    	2.加入集群    rabbitmqctl join_cluster rabbit@mq1
    	3.启动服务    rabbitmqctl start_app
    
    # 6.查看集群状态,任意节点执行:
    	rabbitmqctl cluster_status
    
    # 7.如果出现如下显示,集群搭建成功:
    	Cluster status of node rabbit@mq3 ...
    	[{nodes,[{disc,[rabbit@mq1,rabbit@mq2,rabbit@mq3]}]},
    	{running_nodes,[rabbit@mq1,rabbit@mq2,rabbit@mq3]},
    	{cluster_name,<<"rabbit@mq1">>},
    	{partitions,[]},
    	{alarms,[{rabbit@mq1,[]},{rabbit@mq2,[]},{rabbit@mq3,[]}]}]
    
    # 8.登录管理界面,展示如下状态:
    

    image-20200320095613586

    # 9.测试集群在node1上,创建队列
    

    image-20200320095743935

    # 10.查看node2和node3节点:
    

    image-20200320095827688

    image-20200320095843370

    # 11.关闭node1节点,执行如下命令,查看node2和node3:
    	rabbitmqctl stop_app
    

    image-20200320100000347

    image-20200320100010968


7.1.2 镜像集群

This guide covers mirroring (queue contents replication) of classic queues --摘自官网

By default, contents of a queue within a RabbitMQ cluster are located on a single node (the node on which the queue was declared). This is in contrast to exchanges and bindings, which can always be considered to be on all nodes. Queues can optionally be made mirrored across multiple nodes. --摘自官网

镜像队列机制就是将队列在三个节点之间设置主从关系,消息会在三个节点之间进行自动同步,且如果其中一个节点不可用,并不会导致消息丢失或服务不可用的情况,提升MQ集群的整体高可用性。

镜像集群下主节点宕机从节点可以替代主节点提供服务

镜像集群是在原有普通集群的基础上做配置就行了。

  1. 集群架构图

    image-20200320113423235

  2. 配置集群架构
    # 0.策略说明
    	rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern>  <definition>
    	-p Vhost: 可选参数,针对指定vhost下的queue进行设置
    	Name:     policy的名称
    	Pattern: queue的匹配模式(正则表达式)
    	Definition:镜像定义,包括三个部分ha-mode, ha-params, ha-sync-mode
               		ha-mode:指明镜像队列的模式,有效值为 all/exactly/nodes
                            all:表示在集群中所有的节点上进行镜像
                            exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
                            nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定
                	 ha-params:ha-mode模式需要用到的参数
                    ha-sync-mode:进行队列中消息的同步方式,有效值为automatic和manual
                    priority:可选参数,policy的优先级
                    
                     
    # 1.查看当前策略
    	rabbitmqctl list_policies
    
    # 2.添加策略
    	rabbitmqctl set_policy ha-all '^hello' '{"ha-mode":"all","ha-sync-mode":"automatic"}' 
    	说明:策略正则表达式为 “^” 表示所有匹配所有队列名称  ^hello:匹配hello开头队列  
    			 automatic表示自动同步
    
    # 3.删除策略
    	rabbitmqctl clear_policy ha-all
    
    # 4.测试集群
    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值