消息中间件RabbitMQ

最新推荐文章于 2023-04-07 09:17:12 发布

变质de果冻

最新推荐文章于 2023-04-07 09:17:12 发布

阅读量439

点赞数

文章标签： rabbitmq 分布式

本文链接：https://blog.csdn.net/ReZero_486/article/details/124919071

版权

MQ概述

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。

应用之间的远程调用

加入MQ后应用之间的调用

MQ的优势

1、应用解耦

MQ相当于一个中介，生产方通过MQ与消费方交互，它将应用程序进行解耦合。

系统的耦合性越高，容错性就越低，可维护性就越低。

使用 MQ 使得应用间解耦，提升容错性和可维护性。

2、任务异步处理

将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理。提高了应用程序的响应时间。

一个下单操作耗时：20 + 300 + 300 + 300 = 920ms

用户点击完下单按钮后，需要等待920ms才能得到下单响应，太慢！

用户点击完下单按钮后，只需等待25ms就能得到下单响应 (20 + 5 = 25ms)。

提升用户体验和系统吞吐量（单位时间内处理请求的数目）。

3、削峰填谷

如订单系统，在下单的时候就会往数据库写数据。但是数据库只能支撑每秒1000左右的并发写入，并发量再高就容易宕机。低峰期的时候并发也就100多个，但是在高峰期时候，并发量会突然激增到5000以上，这个时候数据库肯定卡死了。

消息被MQ保存起来了，然后系统就可以按照自己的消费能力来消费，比如每秒1000个消息，这样慢慢写入数据库，这样就不会卡死数据库了。

但是使用了MQ之后，限制消费消息的速度为1000，但是这样一来，高峰期产生的数据势必会被积压在MQ中，高峰就被“削”掉了。但是因为消息积压，在高峰期过后的一段时间内，消费消息的速度还是会维持在1000QPS，直到消费完积压的消息,这就叫做“填谷”

MQ的劣势

系统可用性降低

系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？

系统复杂度提高

MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。

如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？

一致性问题

A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

常见的 MQ产品

目前业界有很多的 MQ 产品，例如 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，也有直接使用 Redis 充当消息队列的案例，而这些消息队列产品，各有侧重，在实际选型时，需要结合自身需求及 MQ 产品特征，综合考虑。

由于 RabbitMQ 综合能力强劲，所以接下来的课程中，我们将主要学习 RabbitMQ。

AMQP 和 JMS

实现MQ的大致有两种主流方式：AMQP、JMS。

AMQP

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，遵循此协议，不收客户端和中间件产品和开发语言限制。2006年，AMQP 规范发布。类比HTTP。

JMS

JMS 即 Java 消息服务（JavaMessage Service）应用程序接口，是一个 Java 平台中关于面向消息中间件的API

JMS 是 JavaEE 规范中的一种，类比JDBC

很多消息中间件都实现了JMS规范，例如：ActiveMQ。RabbitMQ 官方没有提供 JMS 的实现包，但是开源社区有

AMQP 与 JMS 区别

JMS是定义了统一的接口，来对消息操作进行统一；AMQP是通过规定协议来统一数据交互的格式

JMS限定了必须使用Java语言；AMQP只是协议，不规定实现方式，因此是跨语言的。

JMS规定了两种消息模式；而AMQP的消息模式更加丰富

1.6. RabbitMQ

RabbitMQ官方地址：Messaging that just works — RabbitMQ

2007年，Rabbit 技术公司基于 AMQP 标准开发的 RabbitMQ 1.0 发布。RabbitMQ 采用 Erlang 语言开发。Erlang 语言专门为开发高并发和分布式系统的一种语言，在电信领域使用广泛。

RabbitMQ 基础架构如下图：RabbitMQ 中的相关概念：

Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker

Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost 创建 exchange／queue 等

Connection：publisher／consumer 和 broker 之间的 TCP 连接

Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP

Connection的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销

Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)

Queue：消息最终被送到这里等待 consumer 取走

Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding 信息被保存到 exchange 中的查询表中，用于 message 的分发依据

RabbitMQ提供了6种模式：简单模式，work模式，Publish/Subscribe发布与订阅模式，Routing路由模式，Topics主题模式，RPC远程调用模式（远程调用，不太算MQ；暂不作介绍）；

官网对应模式介绍：RabbitMQ Tutorials — RabbitMQ

安装及配置RabbitMQ

注意: 请使⽤CentOS7安装

1. 安装依赖环境

在线安装依赖环境：

yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz

2. 安装Erlang

上传

erlang-18.3-1.el7.centos.x86_64.rpm
socat-1.7.3.2-5.el7.lux.x86_64.rpm
rabbitmq-server-3.6.5-1.noarch.rpm

# 安装
rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm

如果出现错误，说明gblic 版本太低。我们可以查看当前机器的gblic 版本

strings /lib64/libc.so.6 | grep GLIBC

使⽤yum更新安装依赖

sudo yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make -y

安装rpm包

sudo rpm -Uvh socat-1.7.3.2-1.1.el7.x86_64.rpm --force --nodeps

安装完毕后再查看glibc版本,发现glibc版本已经到2.17了

strings /lib64/libc.so.6 | grep GLIBC

3. 安装RabbitMQ

# 安装
rpm -ivh socat-1.7.3.2-1.1.el7.x86_64.rpm --force --nodeps

# 安装
rpm -ivh rabbitmq-server-3.6.5-1.noarch.rpm

4. 开启管理界⾯及配置

# 开启管理界⾯
rabbitmq-plugins enable rabbitmq_management

# 修改默认配置信息
vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.5/ebin/rabbit.app
# ⽐如修改密码、配置等等，例如：loopback_users 中的 <<"guest">>,只保留guest设置配置⽂件

5. 启动

service rabbitmq-server start # 启动服务
service rabbitmq-server stop # 停⽌服务
service rabbitmq-server restart # 重启服务

设置配置⽂件

cd /usr/share/doc/rabbitmq-server-3.6.5/
cp rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

6. 配置虚拟主机及⽤户

6.1. 用户角色

RabbitMQ在安装好后，可以访问 http://ip地址:15672 ；其⾃带了guest/guest的⽤户名和密码；如果需要创建⾃定义⽤户；那么也可以登录管理界⾯后，如下操作：

角色说明：

1、超级管理员(administrator)

可登陆管理控制台，可查看所有的信息，并且可以对⽤户，策略(policy)进⾏操作。

2、监控者(monitoring)

可登陆管理控制台，同时可以查看rabbitmq节点的相关信息(进程数，内存使⽤情况，磁盘使⽤情况等)

3、策略制定者(policymaker)

可登陆管理控制台, 同时可以对policy进⾏管理。但⽆法查看节点的相关信息(上图红框标识的部分)。

4、普通管理者(management)

仅可登陆管理控制台，⽆法看到节点信息，也⽆法对策略进⾏管理。

5、其他

⽆法登陆管理控制台，通常就是普通的⽣产者和消费者。

6.2. Virtual Hosts配置

像mysql拥有数据库的概念并且可以指定⽤户对库和表等操作的权限。RabbitMQ也有类似的权限管理；在RabbitMQ中可以虚拟消息服务器Virtual Host，每个Virtual Hosts相当于⼀个相对独⽴的RabbitMQ服务器，每个VirtualHost之间是相互隔离的。exchange、queue、message不能互通。相当于mysql的db。Virtual Name⼀般以/开头。

RabbitMQ入门

简单模式

在上图的模型中，有以下概念：

P：生产者，也就是要发送消息的程序

C：消费者：消息的接收者，会一直等待消息到来

queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息

搭建示例工程

创建工程

1.添加依赖

往rabbitmq-demo的pom.xml文件中添加如下依赖：

<dependency> 
<groupId>com.rabbitmq</groupId> 
<artifactId>amqp-client</artifactId> 
<version>5.6.0</version> 
</dependency>

2. 编写生产者

编写消息生产者com.gpd.rabbitmq.simple.Producer

package com.gpd.rabbitmq.simple;

import com.gpd.rabbitmq.util.ConnectionUtils;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class Producer {

    public static String QUEUE_NAME = "simple_queue";

    public static void main(String[] args) throws IOException, TimeoutException {

        //创建链接
        Connection connection = ConnectionUtils.getConnection();

        //创建频道
        /*** 参数1：队列名称
         * * 参数2：是否定义持久化队列
         * * 参数3：是否独占本次连接
         * * 参数4：是否在不使用的时候自动删除队列
         * * 参数5：队列其它参数
         * */
        Channel channel = connection.createChannel();

        //创建队列
        channel.queueDeclare(QUEUE_NAME, true, false, false, null);

        //发送消息
        String message = "你好；小兔子！";
        /*** 参数1：交换机名称，如果没有指定则使用默认Default Exchage
         * * 参数2：路由key,简单模式可以传递队列名称
         * * 参数3：消息其它属性
         * * 参数4：消息内容
         * */
        channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
        System.out.println("已发送消息：" + message);

        //释放资源
        channel.close();
        connection.close();

    }
}

在执行上述的消息发送之后；可以登录rabbitMQ的管理控制台，可以发现队列和其消息：

3. 编写消费者

抽取创建connection的工具类com.gpd.rabbitmq.util.ConnectionUtil；

package com.gpd.rabbitmq.util;

import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

/**
 * 获取connection链接
 */
public class ConnectionUtils {

    public static Connection getConnection() throws IOException, TimeoutException {
        //创建链接工厂
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("192.168.199.128");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/gpd");
        connectionFactory.setUsername("gpd");
        connectionFactory.setPassword("123456");

        //创建链接
        Connection connection = connectionFactory.newConnection();
        return connection;
    }
}

编写消息的消费者com.gpd.rabbitmq.simple.Consumer



package com.gpd.rabbitmq.simple;

import com.gpd.rabbitmq.util.ConnectionUtils;
import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class Consumer {

    public static void main(String[] args) throws IOException, TimeoutException {

        //创建链接
        Connection connection = ConnectionUtils.getConnection();

        //创建频道
        /*** 参数1：队列名称
         * * 参数2：是否定义持久化队列
         * * 参数3：是否独占本次连接
         * * 参数4：是否在不使用的时候自动删除队列
         * * 参数5：队列其它参数
         * */
        Channel channel = connection.createChannel();

        //创建队列
        channel.queueDeclare(Producer.QUEUE_NAME, true, false, false, null);

        //接收消息
        DefaultConsumer defaultConsumer = new DefaultConsumer(channel) {
            /**
             * 接收到消息之后执行的回调
             * * consumerTag 消息者标签，在channel.basicConsume时候可以指定
             * * envelope 消息包的内容，可从中获取消息id，消息routingkey，交换机，消息和重 传标志(收到消息失败后是否需要重新发送)
             * * properties 属性信息
             * * body 消息
             * */
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                //路由key
                System.out.println("路由key为：" + envelope.getRoutingKey());
                //交换机
                System.out.println("交换机为：" + envelope.getExchange());
                // 消息id
                System.out.println("消息id为：" + envelope.getDeliveryTag());
                //收到的消息
                System.out.println("接收到的消息为：" + new String(body, "utf-8"));
            }
        };

        /**
         * * 参数1：队列名称
         * * 参数2：是否自动确认，设置为true为表示消息接收到自动向mq回复接收到了，mq接收到回复 会删除消息，设置为false则需要手动确认
         * * 参数3：消息接收到后回调
         * */
        channel.basicConsume(Producer.QUEUE_NAME, true, defaultConsumer);

        //释放资源
/*        channel.close();
        connection.close();*/

    }
}

小结

上述的入门案例中中其实使用的是如下的简单模式：

在上图的模型中，有以下概念：

P：生产者，也就是要发送消息的程序

C：消费者：消息的接受者，会一直等待消息到来。

queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息。

RabbitMQ工作模式

Work queues 工作队列模式

模式说明

Work Queues 与入门程序的简单模式相比，多了一个或一些消费端，多个消费端共同消费同一个队列中的消息。

应用场景：对于任务过重或任务较多情况使用工作队列可以提高任务处理的速度。

代码

Work Queues 与入门程序的简单模式的代码是几乎一样的；可以完全复制，并复制多一个消费者进行多个消费者同时消费消息的测试。

生产者

package com.gpd.rabbitmq.work;

import com.gpd.rabbitmq.util.ConnectionUtils;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class Producer {

    public static String QUEUE_NAME = "work_queue";

    public static void main(String[] args) throws IOException, TimeoutException {

        //创建链接
        Connection connection = ConnectionUtils.getConnection();

        //创建频道
        /*** 参数1：队列名称
         * * 参数2：是否定义持久化队列
         * * 参数3：是否独占本次连接
         * * 参数4：是否在不使用的时候自动删除队列
         * * 参数5：队列其它参数
         * */
        Channel channel = connection.createChannel();

        //创建队列
        channel.queueDeclare(QUEUE_NAME, true, false, false, null);

        //发送消息

        for (int i = 1; i <= 30; i++) {
            String message = "你好，小兔子！work-queue-" + i;
            /*** 参数1：交换机名称，如果没有指定则使用默认Default Exchage
             * * 参数2：路由key,简单模式可以传递队列名称
             * * 参数3：消息其它属性
             * * 参数4：消息内容
             * */
            channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
            System.out.println("已发送消息：" + message);
        }

        //释放资源
        channel.close();
        connection.close();

    }
}

消费者1

package com.gpd.rabbitmq.work;

import com.gpd.rabbitmq.util.ConnectionUtils;
import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class Consumer1 {

    public static void main(String[] args) throws IOException, TimeoutException {

        //创建链接
        Connection connection = ConnectionUtils.getConnection();

        //创建频道
        /*** 参数1：队列名称
         * * 参数2：是否定义持久化队列
         * * 参数3：是否独占本次连接
         * * 参数4：是否在不使用的时候自动删除队列
         * * 参数5：队列其它参数
         * */
        Channel channel = connection.createChannel();

        //创建队列
        channel.queueDeclare(Producer.QUEUE_NAME, true, false, false, null);

        //接收消息
        DefaultConsumer defaultConsumer = new DefaultConsumer(channel) {
            /**
             * 接收到消息之后执行的回调
             * * consumerTag 消息者标签，在channel.basicConsume时候可以指定
             * * envelope 消息包的内容，可从中获取消息id，消息routingkey，交换机，消息和重 传标志(收到消息失败后是否需要重新发送)
             * * properties 属性信息
             * * body 消息
             * */
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                //路由key
                System.out.println("路由key为：" + envelope.getRoutingKey());
                //交换机
                System.out.println("交换机为：" + envelope.getExchange());
                // 消息id
                System.out.println("消息id为：" + envelope.getDeliveryTag());
                //收到的消息
                System.out.println("consumer2 - 接收到的消息为：" + new String(body, "utf-8"));
            }
        };

        /**
         * * 参数1：队列名称
         * * 参数2：是否自动确认，设置为true为表示消息接收到自动向mq回复接收到了，mq接收到回复 会删除消息，设置为false则需要手动确认
         * * 参数3：消息接收到后回调
         * */
        channel.basicConsume(Producer.QUEUE_NAME, true, defaultConsumer);

        //释放资源
/*        channel.close();
        connection.close();*/

    }
}

消费者2

package com.gpd.rabbitmq.work;

import com.gpd.rabbitmq.util.ConnectionUtils;
import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class Consumer2 {

    public static void main(String[] args) throws IOException, TimeoutException {

        //创建链接