仿RabbiteMq实现简易消息队列正式篇（需求分析）

已于 2024-08-14 15:24:49 修改
阅读量436 收藏 3
点赞数 18
文章标签： C++ 开发语言 服务器 网络
于 2024-08-14 15:22:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62812354/article/details/141189940
版权 
@TOC

      

目录

MQ的实现方法

RabbitMq中的相关概念

消息队列系统模块划分

总体划分

服务端模块

数据管理模块

虚拟机数据管理模块

交换机路由模块

消费者管理模块

信道（通信）管理模块

连接管理模块

服务端BrokerServer模块

客户端模块

消费者管理模块

信道管理客户端

连接管理模块

基于以上的三个模块封装实现：订阅客户端 / 发布客户端

        消息队列中间件是在分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等等问题。实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。目前常用的消息队列是RabbitMq, KafKa,ZeroMq,MetaMq等。

        我们是仿照RabbitMq实现简易的消息队列，就得先了解RabbitMq，RabbitMq是一种开源消息中间件，使用Erlang语言进行开发，实现了高级消息队列协议（AMQP）

MQ的实现方法

        MQ的实现方法有两种：AMQP和JMS

  1.         AMQP代表高级消息队列协议，是一个开放的应用层协议标准，用于设计面向消息的中间件。所以我们使用protobuf制作消息。
  2.         JMS即Java消息服务（JavaMessage Service）应用程序接口，是一个Java平台中关于面向消息中间件的API

        JMS是JavaEE规范中的一种，类比JDBC，很多消息中间件都实现了JMS规范，例如：ActiveMQ。RabbitMQ 官方没有提供JMS的实现包，但是开源社区有

RabbitMq中的相关概念

  •         Broker：接收和分发消息的应用，RabbitMQ Server就是Message Broker
  •         Virtual host： 出于多租户和安全因素设计的，把AMQP的基本组件划分到一个虚拟的分组中，类似网络中的namespace 概念。当多个不同的用户使用同一个RabbitMQ Server提供服务的时，可以划分成多个vhost，每个用户在自己的vhost创建exchange/queue等
  •         Connection：publisher/consumer和broker之间的TCP连接Channel：如果每一次访问RabbitMQ都建立一次Connection，在消息量大的时候建立TCP Connection的开销将是巨大的，效率也较低，Channel 是在connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的channel 进行通信，AMQP method 包含了channel id 帮助客户端和 message broker识别channel, 所以channel 之间是完全隔离的，Channel 作为轻量级的Connection 极大减少了操作系统建立Tcp Connection 的开销
  •         Exchange：message 到达broker 的第一站， 根据分发规则，匹配查询表中的rounting_key，分发消息到queue中去，常见的类型是direct(直接匹配), topic（主题匹配）, fanout（广播匹配）
  •         Queue：消息最终被送到这里等待consumer取走Binding：exchange 和 queue 之间的虚拟连接，bingding 中可以包含routing key.
  •         Binding信息被保存到exchange中的查询表中，用于message 的分发依据

接下来说一下我们仿RabbitMq需要实现的东西

消息队列系统模块划分

总体划分

  • 服务端
  • 发布客户端
  • 订阅客户端

服务端模块

数据管理模块

  • 交换机数据管理模块
  • 队列数据管理模块
  • 绑定数据管理模块
  • 消息数据管理模块

以上模块分别实现数据的管理以及持久化存储

虚拟机数据管理模块

  • 虚拟机其实就是交换机+队列+绑定+消息的整体逻辑单元
  • 因此虚拟的数据管理其实就是将以上四个模块的合并管理

交换机路由模块

  • 消息的发布，将一条新消息发布到交换机上，由交换机决定放入哪些队列
  • 而决定交给哪个队列，其中交换机类型起了很大作用（直接交换，广播交换，主题交换）
  • 直接交换和广播交换的思想较为简单，而主题交换设计到了一个规则匹配的流程
  • 而交换路由就是专门做匹配过程的

消费者管理模块

  • 消费者指的是订阅了一个队列消息的客户端，一旦这个队列有了消息就会推送给这个客户端
  • 在核心API中有个订阅消息的服务---这里的订阅不是订阅某条消息，而是订阅某个队列的消息
  • 当前主要实现消息推送功能，因此一旦有了消息，就要能找到消费者相关的信息（消费者对应的信道）

信道（通信）管理模块

  • 一个连接可能会对应有多个通信通道
  • 一旦某个客户端要关闭通信，关闭的不是连接，而是自己对应的通信通道，关闭信道我们就需要将客户端的订阅给取消

连接管理模块

  • 就是一个网络通信对应的连接
  • 因为当一个连接要关闭的时候，就应该把连接关联的通道全部关闭，因此也有数据至少要管理关联的信道

服务端BrokerServer模块

  • 这个模块是将以上所有模块的整合，整合成为一个服务端

客户端模块

消费者管理模块

一个订阅客户端，当订阅一个队列消息的时候，其就相当于创建了一个消费者

信道管理客户端

客户端的信道和服务端的信道是一一对应的，服务端信道提供的服务，客户端都有

相当于服务端向客户端提供服务，客户端为用户提供服务

连接管理模块

对于用户来说，所有的服务都是通过信道完成的，信道在用户的角度就是一个通信通道（而不是连接）

因此所有的请求就是通过信道来完成的

连接的管理就包含了客户端资源的整合

基于以上的三个模块封装实现：订阅客户端 / 发布客户端

订阅客户端：订阅一个队列的消息，收到推送过来的消息进行处理

发布客户端：向一个交换机发布消息。

疏 石 兰 兮
关注
  • 18
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图数据库框架及其支持的开发语言和应用场景
极客栈
08-12 379
这些图数据库框架通过提供多种编程语言的支持，使得开发者能够灵活选择适合自己项目的语言进行开发。同时，社区和第三方开发者也会提供各种语言的库和工具，进一步丰富了图数据库的开发生态。
.NetCore利用BlockingCollection实现简易消息队列
10-18
《.NetCore利用BlockingCollection实现简易消息队列详解》 在现代软件开发中，消息队列作为异步处理和解耦的重要工具，被广泛应用。本文将深入探讨如何使用.NetCore框架中的BlockingCollection类来实现一个简单高效...
Java利用Redis实现消息队列的示例代码
08-29
Java利用Redis实现消息队列的示例代码 以下是Java利用Redis实现消息队列的示例代码的知识点总结： 一、序列化 * 序列化是将对象转换为byte数组的过程，Java中可以使用ByteArrayOutputStream和...
消息队列-利用事务消息实现分布式事务
02-24
“发消息”过程，往往是为通知另外一个系统更新数据，MQ的“事务”，主要解决消息生产者和消息消费者的数据一致性问题。用户在电商APP上购物时先把商品加到购物车然后几件商品一起下单最后支付完成购物流程，就可以...
PHP+MySQL实现消息队列的方法分析
10-18
主要介绍了PHP+MySQL实现消息队列的方法,结合实例形式分析了php+mysql构建消息队列并使用定时器间歇发送信息相关操作技巧,需要的朋友可以参考下
16 交换机命令行配置
weixin_48089507的博客
08-11 175
【代码】15 交换机命令行配置。
挖矿木马攻破了服务器
中年程序员一枚的博客
08-09 1426
systemctl status 6058 # 6058为病毒的PID。然后干掉，或者权限屏蔽等都可以，只要不执行，就没有危险！过一分钟后，服务又开始狂刷cpu。最近被国外的挖矿木马攻破了服务器。#top 看看什么占用cpu高。第四步根据pid查到服务地址。#last指令查看登录ip。第三步杀死狂刷CPU的服务。
市场解读│AI服务器市场爆发 磁性元件的下一个风口已至？
bigbit_LiLi的博客
08-09 1004
面对AI服务器这一新兴市场的蓬勃发展，磁性元件企业应当敏锐地把握这一历史机遇，积极调整产品策略，加大研发投入，以满足AI服务器对高频、耐高温、低功耗以及小型化等高性能磁性元件的迫切需求。而这一切的背后，都离不开强大的计算支持——AI服务器。Big-Bit产业研究室据此预测，随着AI服务器市场的持续扩张，磁性元件行业的市场增量将极为可观，为相关企业带来广阔的发展空间和丰厚的利润回报。随着AI技术的不断成熟和应用场景的日益丰富，AI服务器市场正步入其发展的黄金时期，带给磁性元件行业企业前所未有的机遇与挑战。
CVE-2024-27198 和 CVE-2024-27199：JetBrains TeamCity 服务器的漏洞利用及其防护措施
weixin_47075747的博客
08-13 410
*和**是两个与服务器相关的严重漏洞。通过这些漏洞，攻击者可以绕过TeamCity内置的身份验证机制，创建管理员账户、枚举用户信息、生成授权令牌，甚至在服务器上远程执行任意代码。其根本原因在于TeamCity的REST API路由处理中的身份验证绕过问题。
linux HBA驱动中scsi_host_template .shost_attrs
Wang20122013的博客
08-13 353
scsi_host_template是一个结构体，用于定义SCSI主机（host adapter）的属性和操作。这个模板用于初始化SCSI主机结构体scsi_host_template，它包含了主机的属性、操作函数等。shost_attrs是scsi_host_template结构体中的一个成员，它是一个属性组，用于定义SCSI主机可以支持的属性。每个属性都会有相应的操作函数，这些函数定义了如何读取或写入属性值。例如，一个属性可能有一个show函数来返回当前值，一个store函数来设置新值。
租用服务器建站要考虑网站的哪些因素？
kk_177803619的博客
08-13 258
在数字化时代，拥有一个稳定、高效且符合需求的网站是企业或个人在线展示与业务拓展的关键。租用服务器作为建站的基础设施之一，其选择直接影响到网站的性能、安全性、可扩展性及成本效益。
【自动驾驶】ROS中参数服务器通信（c++）
最新发布
种一棵树最好的时间是十年前，其次是现在
08-13 170
Talker 通过 RPC 向参数服务器发送参数(包括参数名与参数值)，ROS Master 将参数保存到参数列表中。ROS Master 根据步骤2请求提供的参数名查找参数值，并将查询结果通过 RPC 发送给 Listener。Listener 通过 RPC 向参数服务器发送参数查找请求，请求中包含要查找的参数名。3.ROS Master 向 Listener 发送参数值。2.Listener 获取参数。1.Talker 设置参数。
服务器那点事--防火墙
求知求志求智
08-13 240
例如：放开3306端口。
Linux 基本指令讲解 上
Mike的博客
08-13 1028
clear清屏Alt Enter全屏/退出全屏pwd显示当前用户所处路径cd改变目录mkdir创建一个文件夹(d)rmdir默认只能删除空文件夹(空目录)ls显示当前目录下的文件，ls 默认只会显示文件名这个属性。可以是 0 个或多个，多个选项都是用空格分隔whoami输出当前用户是谁touchrm删除文件cp拷贝命令tree以树形输出路径which输出文件的路径alias给其他命令起别名，但都是临时的，当重启后就会恢复。
LDAP（轻量级目录访问协议），SMTP（简单邮件传输协议）服务器到底是什么，有什么用情通俗的解释下？
qq_15821487的博客
08-13 198
当然，让我用通俗的语言来解释一下LDAP和SMTP这两个概念。
雨云宁波电信大带宽服务器测评（非广告）
gzy318的博客
08-08 403
本文对雨云宁波电信大带宽服务器进行测评，非广告和宣传，真实客观
服务器发回了不可路由的地址。使用服务器地址代替,宝塔系统 ftp设置，fillza ftp 如何设置 被动模式的ip端口 ，阿里云设置
08-10 305
如果遇到无法启动的问题，可以查看宝塔面板的FTP服务安装日志来获取错误信息，并根据错误提示进行相应的解决操作。例如，如果是由于缺少Perl环境导致无法启动，安装Perl环境后通常可以解决问题。如果在使用宝塔面板时遇到问题，也可以参考宝塔论坛中相关的解决帖子或咨询宝塔技术支持。执行该命令后，FTP服务将会重启。如果服务状态显示为active(running)，则表示FTP服务已成功启动。因为扫描ftp漏洞挺多，开发端口 只开发给自己，宝塔系统-》软件 搜索ftp。第三部 宝塔系统-》安全。
如何为服务器生成一个TLS证书
a1546464545454的博客
08-09 323
要生成 TLS 1.3 的证书，可以使用 OpenSSL 工具，它是一个广泛使用的开源工具，能够生成和管理 SSL/TLS 证书。以下是生成自签名 TLS 1.3 证书的详细步骤。
python代码模拟服务器实验1：阻塞IO
unforgetablebaby的博客
08-13 88
例如，常见的值有 5、10 或者更高，这样可以确保服务器能处理更多并发的连接请求而不容易拒绝新的连接。总结：server_socket.listen(1) 中的 1 是连接请求队列的最大长度，决定了在服务器处理当前连接时，可以有多少其他连接请求被挂起等待处理。如果在这个时候有第三个客户端请求连接，由于队列长度已经达到 1，第三个请求可能会被拒绝，或者客户端会收到 ECONNREFUSED 错误。如果服务器正忙于处理当前连接，而另一个连接请求到来，那么这个新的连接请求将被放入队列中。
基于消息队列实现生产者—消费者问题的需求分析
06-06
在实现基于消息队列的生产者-消费者问题时，需要进行一定的需求分析，以确保系统能够满足用户的需求和期望。主要的需求分析包括以下几个方面： 1. 功能需求：需要明确系统需要实现的功能，包括生产者进程的数据生成、消费者进程的数据消费，以及消息队列的创建和销毁等。同时，还需要考虑生产者和消费者之间的同步和互斥问题，以及错误处理和异常情况的处理等。 2. 性能需求：需要明确系统的性能需求，包括消息队列的大小、生产者和消费者的并发数量、数据的生产和消费速度等。同时，还需要考虑系统的稳定性和可靠性，例如系统是否能够长时间稳定运行，是否能够在出现错误或异常时及时恢复等。 3. 可用性需求：需要明确系统的可用性需求，包括系统的可扩展性、可维护性、可升级性等。同时，还需要考虑系统的易用性和用户体验，例如系统是否易于配置和使用，是否提供了友好的用户界面等。 4. 安全需求：需要明确系统的安全需求，包括数据的安全性、系统的防护能力等。例如，在传输敏感数据时需要采用加密技术来保护数据的安全性。 5. 其他需求：根据实际情况，还需要考虑其他需求，例如系统的兼容性、可移植性等。 在需求分析的基础上，可以进一步进行系统设计和实现，以满足用户的需求和期望。需要注意的是，需求是不断变化的，因此在开发过程中需要不断地进行需求分析和调整，以确保系统能够适应不断变化的需求和环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值