【消息队列开发】 背景知识与需求分析

🍃前言

博主将从零开始开发一个消息队列的项目，今天是项目的第一天。

今天我们的任务有以下两点：

1. 了解消息队列的背景知识
2. 对该项目进行需求分析，为后续开发项目有一个前进的方向

🌲消息队列背景知识

在实际的后端开发中,尤其是分布式系统⾥,跨主机之间使⽤⽣产者消费者模型,也是⾮常普遍的需求.

因此,我们通常会把阻塞队列,封装成⼀个独⽴的服务器程序,并且赋予其更丰富的功能.

这样的程序我们就称为消息队列(Message Queue, MQ)

市面上成熟的消息队列⾮常多.

• RabbitMQ
• Kafka
• RocketMQ
• ActiveMQ
• …

其中,RabbitMQ 是⼀个非常知名,功能强⼤,⼴泛使⽤的消息队列.

这里咱们就仿照RabbitMQ,模拟实现⼀个简单的消息队列.

🌳需求分析

我们先来理解一下几个核心概念

🚩核心概念

• 生产者(Producer)

• 消费者(Consumer)

• 中间⼈(Broker)

• 发布(Publish)

• 订阅(Subscribe)

几者关系如下图所示：

⼀个生产者,⼀个消费者

N个生产者，N个消费者

其中,Broker是最核心的部分.负责消息的存储和转发.

在Broker中,⼜存在以下概念.

• 虚拟机(VirtualHost):类似于MySQL的"database",是⼀个逻辑上的集合.⼀个BrokerServer上可以存在多个VirtualHost.

• 交换机(Exchange):生产者把消息先发送到Broker的Exchange上.再根据不同的规则,把消息转发给不同的Queue.

• 队列(Queue):真正⽤来存储消息的部分.每个消费者决定自己从哪个Queue上读取消息.

• 绑定(Binding):Exchange和Queue之间的关联关系.Exchange和Queue可以理解成"多对多"关系.使用⼀个关联表就可以把这两个概念联系起来.

• 消息(Message):传递的内容.

所谓的Exchange和Queue可以理解成"多对多"关系,和数据库中的"多对多"⼀样.
意思是:⼀个Exchange可以绑定多个Queue(可以向多个Queue中转发消息).
⼀个Queue也可以被多个Exchange绑定(⼀个Queue中的消息可以来⾃于多个Exchange).

上述几个核心概念关系如下图所示：

这些概念,既需要在内存中存储,也需要在硬盘上存储，原因如下：

• 内存存储:⽅便使⽤.
• 硬盘存储:重启数据不丢失.

针对不同的要求不同，所以存储概念也不同

🚩核心API

对于Broker来说,要实现以下核心API.通过这些API来实现消息队列的基本功能.

1. 创建队列(queueDeclare)
2. 销毁队列(queueDelete)
3. 创建交换机(exchangeDeclare)
4. 销毁交换机(exchangeDelete)
5. 创建绑定(queueBind)
6. 解除绑定(queueUnbind)
7. 发布消息(basicPublish)
8. 订阅消息(basicConsume)
9. 确认消息(basicAck)

后面我们进行一一实现

🚩交换机类型(Exchange Type)

对于 RabbitMQ 来说,主要支持四种交换机类型.

• Direct
• Fanout
• Topic
• Header

其中Header这种方式比较复杂,比较少见.常⽤的是前三种交换机类型.咱们此处也主要实现以下这三种.

• Direct:生产者发送消息时,直接指定被该交换机绑定的队列名.
• Fanout:生产者发送的消息会被复制到该交换机的所有队列中.
• Topic:绑定队列到交换机上时,指定⼀个字符串为bindingKey.发送消息指定⼀个字符串为routingKey.当routingKey和bindingKey满⾜⼀定的匹配条件的时候,则把消息投递到指定队列

🚩持久化

Exchange,Queue,Binding,Message都有持久化需求.

当程序重启/主机重启,保证上述内容不丢失.

🚩网络通信

生产者和消费者都是客⼾端程序,broker则是作为服务器.通过网络进⾏通信.

在网络通信的过程中,客⼾端部分要提供对应的api,来实现对服务器的操作.

1. 创建 Connection
2. 关闭 Connection
3. 创建 Channel
4. 关闭 Channel
5. 创建队列(queueDeclare)
6. 销毁队列(queueDelete)
7. 创建交换机(exchangeDeclare)
8. 销毁交换机(exchangeDelete)
9. 创建绑定(queueBind)
10. 解除绑定(queueUnbind)
11. 发布消息(basicPublish)
12. 订阅消息(basicConsume)
13. 确认消息(basicAck)

可以看到,在broker的基础上,客户端还要增加Connection操作和Channel操作.

Connection对应⼀个TCP连接.

Channel则是Connection中的逻辑通道.

⼀个Connection中可以包含多个Channel.

Channel和Channel之间的数据是独立的.不会相互干扰.

这样的设定主要是为了能够更好的复用TCP连接,达到⻓连接的效果,避免频繁的创建关闭TCP连接.

Connection可以理解成⼀根网线.Channel则是网线里具体的线缆.

🚩消息应答

被消费的消息,需要进行应答.

应答模式分成两种.

• 自动应答:消费者只要消费了消息,就算应答完毕了.Broker直接删除这个消息.
• 手动应答:消费者手动调⽤应答接⼝,Broker收到应答请求之后,才真正删除这个消息.

手动应答的目的,是为了保证消息确实被消费者处理成功了.在⼀些对于数据可靠性要求⾼的场景,比较常见

🚩模块划分

对上述所涉及到的知识点进行一个整体模块划分，如下图所示：

⭕总结

关于《【消息队列开发】 背景知识与需求分析》就讲解到这儿，感谢大家的支持，欢迎各位留言交流以及批评指正，如果文章对您有帮助或者觉得作者写的还不错可以点一下关注，点赞，收藏支持一下