参考RabbitMQ实现一个消息队列

已于 2023-08-06 21:47:58 修改
阅读量1.5k 收藏
点赞数
文章标签： rabbitmq 分布式
于 2023-08-06 14:53:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62040947/article/details/132129534
版权

文章目录

前言

消息队列的本质就是阻塞队列，它的最大用途就是用来实现生产者消费者模型，从而实现解耦合以及削峰填谷。

在分布式系统中不再是单个服务器而是服务器“集群”，如果我们我们直接A服务器给B服务器发送请求，B服务器给A服务器返回响应，这样的话我们AB的耦合较大，如果A或者B服务器挂了，我们业务也就崩溃了。引入消息队列之后我们将请求和响应都通过消息队列这个中间人来传递，就降低了耦合度。

同样的，如果我们AB服务器直接进行通信，如果A服务器突然发送许多请求，我们B服务器也会收到巨多请求的影响，AB由于硬件资源限制可能都会崩溃。如果我们引入消息队列，消息队列可以将许多请求接收存储下来，B服务器依然可以按照原有节奏取请求，不会一下子接收大量请求。这也就是我们所说的削峰。 填谷，也是类似的，就算请求过少，我们的服务器依然可以从消息队列中取出挤压得请求。

在分布式系统中，跨主机之间使用生产者消费者模型就显得非常重要了。 我们通常把阻塞队列封装成⼀个独立的服务器程序，并且新增一些功能。这样的程序我们就称为 消息队列。

所以此次就仿照市面上得RabbitMQ实现一个简易的消息队列。

小小消息管家

1.项目介绍

将消息队列分成服务器模块、客户端模块、公共模块来实现。

  1. 服务器模块通过虚拟主机实现交换机、队列、绑定、消息等相关操作的隔离。虚拟主机主要负责对上述内容的数据进行硬盘（数据库和文件）以及内存管理、消息的三种转发方式如Direct、Fanout、Topic、为提供客户端API的实现。
  2. 客户端模块：实现连接管理提供建立连接、信道管理通过信道实现TCP连接的复用。在信道管理中实现客户端调用的API。
  3. 公共模块：约定客户端服务器的通信协议、数据传输过程中的序列化以及反序列化。

在这里插入图片描述

2. 需求分析

由于是实现一个生产者消费者模型，在消息队列中我们要实现的逻辑如下：我们的生产者客户端向服务器发送消息，消费者客户端向服务器订阅消息，服务器负责消息的存储和转发。

在这里插入图片描述

概念解读：

  • 虚拟主机 (VirtualHost)：是⼀个逻辑上的集合，⼀个 BrokerServer 上可以存在多个 VirtualHost。
  • 交换机 (Exchange)：生产者把消息先发送到 BrokerServer 的 Exchange 上。 再根据不同的规则把消息转发给不同的 Queue。
  • 队列 (Queue)：真正用来存储消息，每个消费者决定自己从哪个 Queue 上读取消息。
  • 绑定 (Binding)：Exchange 和 Queue 之间的关联关系。Exchange 和 Queue 可以理解成 “多对多” 关
    系。
  • 消息 (Message): 传递的内容。

2.1 API

我们的服务器提供以下API是西安消息队列的基本功能。

  1. 创建队列 (queueDeclare)
  2. 销毁队列 (queueDelete)
  3. 创建交换机 (exchangeDeclare)
  4. 销毁交换机 (exchangeDelete)
  5. 创建绑定 (queueBind)
  6. 解除绑定 (queueUnbind)
  7. 发布消息 (basicPublish)
  8. 订阅消息 (basicConsume)
  9. 确认消息 (basicAck)

我们的客户端提供以下API供客户使用消息队列，为了复用TCP连接，我们提供了一个Channel逻辑通道。所以在客户端我们还需要提供Channel的创建和关闭：

  1. 创建 Connection
  2. 关闭 Connection
  3. 创建 Channel
  4. 关闭 Channel
  5. 创建队列 (queueDeclare)
  6. 销毁队列 (queueDelete)
  7. 创建交换机 (exchangeDeclare)
  8. 销毁交换机 (exchangeDelete)
  9. 创建绑定 (queueBind)
  10. 解除绑定 (queueUnbind)
  11. 发布消息 (basicPublish)
  12. 订阅消息 (basicConsume)
  13. 确认消息 (basicAck)

2.2 消息应答

被消费者消费的消息，需要进行应答来确定我们消费者正确消费了消息。我们设置两种应答模式：

  1. 自动应答：消费者只要消费了消息，就算应答完毕。Broker直接删除这个消息。
  2. 手动应答：消费者手动调用应答接口（确认消息），Broker收到应答请求后删除这个消息。

2.3 网络通信协议设计

我们使用TCP 协议，来作为通信的底层协议。在这个基础上自定义应用层协议，实现客户端对服务器提供的功能远程调用。所以我们在协议中约定type标记调用的功能，length为消息的长度，payload为消息的具体内容。

请求和响应的格式如下：
在这里插入图片描述

其中 type取值如下：
• 0x1 创建 channel
• 0x2 关闭 channel
• 0x3 创建 exchange
• 0x4 销毁 exchange
• 0x5 创建 queue
• 0x6 销毁 queue
• 0x7 创建 binding
• 0x8 销毁 binding
• 0x9 发送 message
• 0xa 订阅 message
• 0xb 返回 ack
• 0xc 服务器给客户端推送的消息(被订阅的消息)

其中 payload 部分，会根据不同的 type，存在不同的格式。对于请求来说, payload 表示这次方法调用的各种参数信息，我们定义对应的类实现。
对于响应，payload 表示这次方法调用的返回值。

3. 开发环境

数据库：SQLite
开发语言：Java
技术框架：SpringBoot、SpringMVC、Mybatis
管理工具：Maven
开发工具：Intellij IDEA 2020.1.4
操作系统：Windows10

4. 项目结构介绍

在这里插入图片描述

  • common 包中约定通信协议包括请求响应格式以及不同的payload对应的数据格式；创建自定义异常类；实现序列化反序列化；定义消费者以及处理消息调用的函数接口。
  • demo 创建了一个消费者和生产者用于测试项目。
  • mqclient 客户端模块，提供创建连接的工厂类；定义完整连接的内容；定义channel实现客户端api
  • mqserver.core 定义了交换机、队列、消息、交换机类型、转发规则、消费消息的逻辑。
  • mqserver.datacenter 定义了交换机、队列、消息、绑定的存储以及管理。
  • mqserver.mapper:实现对sqlite数据库的操作。

4.1 配置信息

由于我们对于数据库的存储只涉及一小部分，所以此处我们利用sqlite进行数据管理。

pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.7.14</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>mq</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>mq</name>
    <description>mq</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.3.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.xerial/sqlite-jdbc -->
        <dependency>
            <groupId>org.xerial</groupId>
            <artifactId>sqlite-jdbc</artifactId>
            <version>3.41.0.1</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter-test</artifactId>
            <version>2.3.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

application.yml: 配置数据库信息
在这里插入图片描述

5. 项目演示

创建一个生产者客户端向服务器发送一个消息：

package com.example.mq.demo;

import com.example.mq.mqclient.Channel;
import com.example.mq.mqclient.Connection;
import com.example.mq.mqclient.ConnectionFactory;
import com.example.mq.mqserver.core.ExchangeType;

import java.io.IOException;

/**
 * 这个类用来表示一个生产者.
 *  通常这是一个单独的服务器程序.
 */
public class DemoProducer {
    public static void main(String[] args) throws IOException, InterruptedException {
        System.out.println("启动生产者");
        //创建一个连接
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("127.0.0.1");
        factory.setPort(9090);

        //得到逻辑链接，这个就类似于socket
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        // 通过逻辑连接创建交换机和队列
        channel.exchangeDeclare("testExchange", ExchangeType.DIRECT, true, false, null);
        channel.queueDeclare("testQueue", true, false, false, null);

        // 创建一个消息并发送
        byte[] body = "hello 欢迎消费消息".getBytes();
        boolean ok = channel.basicPublish("testExchange", "testQueue", null, body);
        System.out.println("消息投递完成! ok=" + ok);

        Thread.sleep(500);
        channel.close();
        connection.close();
    }
}

创建一个消费者客户端，订阅消费消息

package com.example.mq.demo;

import com.example.mq.common.Consumer;
import com.example.mq.common.MqException;
import com.example.mq.mqclient.Channel;
import com.example.mq.mqclient.Connection;
import com.example.mq.mqclient.ConnectionFactory;
import com.example.mq.mqserver.core.BasicProperties;
import com.example.mq.mqserver.core.ExchangeType;

import java.io.IOException;

/**
 * @author zq
 * @date 2023-08-05 19:29
 */

/*
 * 这个类表示一个消费者.
 * 通常这个类也应该是在一个独立的服务器中被执行
 */
public class DemoConsumer {
    public static void main(String[] args) throws IOException, MqException, InterruptedException {
        System.out.println("启动消费者!");
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("127.0.0.1");
        factory.setPort(9090);

        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        channel.exchangeDeclare("testExchange", ExchangeType.DIRECT, true, false, null);
        channel.queueDeclare("testQueue", true, false, false, null);

        //订阅消息，并定义如何消费消息
        channel.basicConsume("testQueue", true, new Consumer() {
            @Override
            public void handleDelivery(String consumerTag, BasicProperties basicProperties, byte[] body) throws MqException, IOException {
                System.out.println("[消费数据] 开始!");
                System.out.println("consumerTag=" + consumerTag);
                System.out.println("basicProperties=" + basicProperties);
                String bodyString = new String(body, 0, body.length);
                System.out.println("body=" + bodyString);
                System.out.println("[消费数据] 结束!");
            }
        });

        // 通过这个循环模拟一直等待消费完生产者生产的所有消息
        while (true) {
            Thread.sleep(500);
        }
    }
}

实现结果如下 ：

在这里插入图片描述
在这里插入图片描述

通过结果我们可以看出，我们消费者成功取出订阅的队列中的消息进行消费

【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列（延时插件篇）
Asurplus
02-21 21万+
一、介绍 1、什么是延时队列？ 延时队列即就是放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费 2、适用场景 （1）商城订单超时未支付，取消订单 （2）使用权限到期前十分钟提醒用户 （3）收益项目，投入后一段时间后产生收益 二、实现方式 从以上场景中，我们可以看出，延时队列的主要功能就是在指定的时间之后做指定的事情，那么，我们思考有哪些工具我们可以使用？ 1、Redis 监听过期 Key 可以参考我的博客【SpringBoot】三十五、SpringBoot整合Redis监听Ke
C#调用RabbitMQ实现消息队列
猫敷雪
05-23 4378
文章目录前言消息队列准备工作安装rabbitmq-serverRabbitMQ应用KibaRabbitMQSendKibaRabbitMQReceived服务器端应用安装Erlang环境安装RabbitMQ添加用户和权限RabbitMQ的简单指令参考文献 前言 前几天在做日志收集，用到了RabbitMQ，它作为一种中间件，需要对其进行下载，安装，和配置。 消息队列 什么是消息队列？，我们这样想一下，用户访问网站，最终是要将数据以HTTP的协议的方式，通过网络传输到主机的某个端口上的。 那么，接收数据的方式是
4.basicPublish方法的详解
weixin_45660035的博客
02-15 5470
1.简介 basicPublish方法主要是对消息进行一些设置，主要讲basicproperties的相关内容 2.详解 参考官方文档link 其总共有14个参数： private String contentType; // 消息的内容类型 private String contentEncoding; // 消息内容的编码 private Map<String, Object> headers; // 消息的头 private Integer deliveryMode; // 消息是否持久
RabbitMq学习(2) queueDeclare()/ basicPublish() API详解
IlickCat的博客
06-16 4841
一、queueDeclare(…) queueDeclare()用于实现通道与队列的绑定。它包含5个参数。 String queue: 被绑定的消息队列名，当该消息队列不存在时，将新建该消息队列 Boolean durable: 是否持久化消息队列， 该参数持久化的仅为队列，而不包含队列中的消息 Boolean exclusive: 该通道是否独占该队列 Boolean autoDelete: 消费完成时是否删除队列， 该删除操作在消费者彻底断开连接之后进行。 Map<String, Object&
RabbitMQ-发送消息basicPublish
杜海的博客
10-22 2649
basicPublish channel.basicPublish(EXCHANGE_NAME, ROUTING_KEY, MessageProperties.PERSISTENT_TEXT_PLAIN , message.getBytes()); basicPublish方法 void basicPublish(String exchange, String routingKey, BasicProperties props, byte[] body) throws IOException
RabbitMQ学习笔记
weixin_45934866的博客
12-04 2196
RabbitMQ
Rabbitmq入门4
qq_42532161的博客
10-14 791
4.1 channel.basicPublish中的mandatory 和immediate 详解 mandatory ：为true，消息无法发送到队列时，会将消息返回给客户端；为false，会丢弃消息。 判断消息是否路由成功： 通过channel.addReturnListener加returnKListener监听器 channel.basicPublish(EXCHANGE_NAME , "", true, MessageProperties.PERSISTENT_TEXT_PLAIN...
深入详解高性能消息队列中间件 RabbitMQ
最新发布
dvlinker的技术专栏
11-06 1万+
深入详解高性能消息队列中间件 RabbitMQ
RabbitMQ高效部署分布式消息队列实战篇
11-11
RabbitMQ是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议工作，提供了一种可靠的消息传递机制。通过RabbitMQ，应用程序可以发送和接收消息，而无需两者同时在线，这使得...
RabbitMQ之basicConsume、basicCancel、basicPublish等方法详解
热门推荐
OceanSky的专栏
10-19 2万+
最新版5.7.3提供了20个basicConsume消费方法，这些方法是由服务端主动PUSH消息过来，方法接收到消息后进行处理；而每个方法处理接收到的消息相差不大，下面详细介绍每个方法的参数详情； 1.String basicConsume(String queue, boolean autoAck, DeliverCallback deliverCallback, CancelCallbac...
RabbitMQ中basic**方法汇总与参数解释
m0_51663233的博客
10-07 975
当使用RabbitMQ进行消息传递时，Channel对象提供了一组称为"basic方法"的方法，用于执行最基本的消息传递操作。在本篇博客中，我们将详细介绍这些方法，包括示例和参数解释。
带你玩转RabbitMQ的五种队列
一心同学的博客
03-24 4644
一篇文章带你玩转RabbitMQ的五种队列，保姆级别讲解五种队列的知识以及应用场景，帮助我们尽快掌握RabbitMQ。
RabbitMQ
Zxb654614425的博客
11-23 880
mq基础使用
python rabitmq_详解Python操作RabbitMQ服务器消息队列的远程结果返回
weixin_39619478的博客
11-24 186
先说一下笔者这里的测试环境：Ubuntu14.04 + Python 2.7.4RabbitMQ服务器sudo apt-get install rabbitmq-serverPython使用RabbitMQ需要Pika库sudo pip install pika远程结果返回消息发送端发送消息出去后没有结果返回。如果只是单纯发送消息，当然没有问题了，但是在实际中，常常会需要接收端将收到的消息进行处理...
RabbitMQ的工作队列有哪些？带你玩转工作队列
知识记录
09-26 1209
一篇文章带你弄明白RabbitMQ的5种工作模式，帮助我们快速掌握RabbitMQ。可以用来快速复习和面试~~
php basic publish,rabbitmq学习和部署记
weixin_35880151的博客
03-12 467
网上rabbitmq的学习日志非常丰富，官网文档也很完美，这里主要记录学习和部署过程中的一些记录。会按以下菜单进行记录。后面会贴上引用文章的链接。1、rabbitmq的介绍2、rabbitmq和redis的区别3、rabbitmq的安装4、rabbitmq的部署配置5、简单队列模式的实现6、工作队列模式的实现7、发布订阅模式的实现8、路由模式的实现9、通配符模式的实现10、RPC模式的实现1、ra...
rabbitmq官方教程之发布与订阅（Publish/Subscribe）
浪丶荡
11-29 6260
官网教程地址：http://www.rabbitmq.com/tutorials/tutorial-one-java.html Publish/Subscribe(using the Java Client)在上一篇工作队列中中我们已经创建了一个工作队列。工作队列背后的假设是每个任务都交付给一个worker。在这部分中，我们会做一些完全不同的事情 - 我们会向多个消费者传递信息。这种模式被称为“发
RabbitMQ 学习教程（二）RabbitMQ 的简单模式
sco5282的博客
08-28 1090
1. 五种工作模式 RabbitMQ 常用的工作模式有以下五种： 简单模式 工作队列模式（轮询、公平分发） 发布/订阅模式（fanout 路由键在这个模式中没有意义） 路由模式（direct） 主题模式（topic 路由中的 #：表示0个或多个；*：表示至少只有一个） 1.1 简单模式 简单模型如下图： 在上图的模型中，有以下概念： P：生产者，也就是要发送消息的程序 C：消费者：消息的接受者，会一直等待消息到来 Queue：消息队列，图中红色部分。可以缓存消息；生产者向其中投递消息，消费者从其中取
PHP整合RabbitMQ实现消息队列教程
"这篇文章主要介绍了如何使用PHP与RabbitMQ结合实现消息队列，通过具体的代码示例展示了配置、生产者和消费者类的编写方法，适用于需要在PHP环境中使用消息队列的开发者参考学习。" 在分布式系统和高并发场景中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值