掌握RocketMQ消息中间件——基本概念和系统架构篇

编程的幸

已于 2024-09-30 18:59:51 修改

阅读量535

点赞数 14

文章标签： rocketmq 中间件

于 2024-09-30 16:48:40 首次发布

本文链接：https://blog.csdn.net/m0_72047169/article/details/142637916

版权

简述RcoketMQ

概念：RocketMQ是一个开源的分布式消息中间件，由阿里巴巴开发并贡献给Apache软件基金会。它用于处理高吞吐量、低延迟的消息传递，并广泛应用于现代分布式系统中。

1 基本概念

1.1 消息 (Message)

概念：消息是信息传递的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。

模型图：

1.2 主题 (Topic)

概念：

1.主题是消息的分类标识，用于区分不同类型的消息。
2.每条消息只能属于一个主题，一个生产者可以同时发送多种主题的消息，而一个消费者只对某种特定的主题感兴趣，即只可以订阅和消费一种主题的消息。

模型图：

1.3 标签 (Tag)

概念：为消息设置的标签。通过使用标签，消费者可以选择只接收特定类型的消息。

标签通常用于在同一主题内区分消息的不同子类型或处理方式。消费者可以根据标签是实现对不同子主题的不同消费逻辑，实现更好的扩展性。

1.4 队列 (Queue)

概念：队列是存储消息的物理结构，通常与主题相关联。每个主题可以对应多个队列，消息在队列中有序存储。

补充:消费者从队列中拉取消息进行处理。队列的使用有助于实现负载均衡和消息的顺序消费。多个分区可以有多个消费者，一个分区只能有一个消费者。

1.5 消息标识 (Messageid/Key)

概念：RocketMQ中每个消息拥有唯一的MessageId, 且可以携带具有业务标识的Key,以方便对消息的查询。

注意:MessageId有两个:在生产者send(消息时会自动生成一个MessageId (msgId)，当消息到达Broker后，Broker也会自动生成一个Messageld(offsetMsgId)。 msgId、 offsetMsgId与key都称为消息。
补充：
1.msgId: 由producer端生成，其生成规则为:
producerIp +进程pid + MessageClientIDSetter类的ClassLoader的hashcode +当前时间+ Automi CInteger自增计数器
2.offsetMsgId: 由broker端生成，其生成规则为: brokerIp +物理分区的offset
3.key:由用户指定的业务相关的唯一标识

2 系统架构

模型图：

2.1 生产者（Producer）

消息生产者，负责生产消息。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败且低延迟。

模型图：

在RocketMQ中消息生产者都是以生产者组的形式出现的。生产者组都是同一类生产者的集合，这类Producer发送相同主题类型的消息。

2.2 消费者和消费者组（Consumer和ConsumerGroup）

消息消费者，负责消费消息，一个消息消费者会从Broker服务器中取得消息，并对消息进行相关业务处理。

同理，在RocketMQ中消息消费者都是以消费者组的形式出现，消费者组是同一类消费者的集合，这类Consumer消费的是同一个主题类型的消息。消费者组使得在消息消费方面，实现负载均衡和容错的目标变得非常容易。

消费者组中Consumer的数量应该小于等于订阅Topic的Queue的数量，如果超出Queue数量，则多出的Consumer将不能消费消息。

一个Topic类型的消息可以被多个Consumer Group同时消费。

注意：

1.消费者组只能消费一个Topic的消息，不能同时消费多个Topic消息。

2.一个消费者组中的消费者必须订阅完全相同的Topic

2.3 消费点位（offset）

由于不同消费者组之间的消息消费互不影响，当一个消费者组读取消息后，无法立即将其从MQ中移除。若移除，其他消费者组将无法读取；若不移除，则无法确定当前消费者组的消费进度。
因此，通过Offset来标识一个消费者组的当前消费位置，每成功消费一条记录：Offset + 1。(MQ ≈ 数组，Offset ≈ 数组下标)

2.4 Name Server

概念：其为一个Broker和Topic路由的注册中心，支持Broker动态注册和发现。

2.4.1 路由注册

NameServer以集群方式部署，集群中的各个节点间无差异，互相不通讯。数据同步依靠Broker节点与每一个NameServer节点进行长连接，发起注册请求。（Broker节点为证明自己存活，会将最新信息以心跳包的方式上报NameServer，每30s一次。）

优缺点：1.NameServer集群搭建简单。2.对于Broker要明确指出所有NameServer的地址，否则未指出地址的不会注册，故NameServer不可随意扩容，因为不重新配置Broker，新增的NameServer对于Broker不可见。

2.4.2 路由剔除

由于Broker关机、宕机或网络抖动，NameServer没有收到Broker的心跳，则NameServer会将其从Broker列表中删除。NameServer中的定时任务会每隔10s扫描一次Broker列表并查看其最新心跳时间戳，距离当前时间超过120s,则判定Broker失效，将其从Broker列表中剔除。

2.4.3 路由发现

RocketMQ的路由发现采用的是Pull模型。当Topic路由信息出现变化时，NameServer不会主动推动给客户端，而是由客户端定时拉取主题最新的路由，默认每30s拉取一次，所以存在实时性较差的问题。

补充：1.Push模型：推送，实时性较好，需要维护一个长连接。2.Long Polling模型：长轮询模型，为Push和Pull模型的整合。

2.4.4 客户端（Producer和Consumer）NameServer选择策略

首先采用随机策略进行选择，失败后采用的是轮询策略。

2.5 Broker

概念：消息中转角色，负责存储消息、转发消息。在RocketMQ系统中负责接收并存储生产者发送来的消息，同时为消费者的拉取请求做准备。同时也存储消息的元数据。

2.5.1 模块构成

解释：

Remoting Module：整个Broker的实体，负责处理client端的请求。
Client Manager：客户端管理器，负责接收、解析客户端的请求，管理客户端。
Store Service：存储服务，提供方便简单的API接口，处理消息存储到物理硬盘和消息查询功能
HA Service：高可用服务，Master和Slave间的数据同步。
Index Service：索引服务，根据特定的Message Key，对投递到Broker的消息进行索引，也提供快速查询功能。

2.5.2 详解

Broker以集群形式出现。各集群中可能存放相同Topic的不用Queue。

可能出现问题以及解决方法：如果某个Broker宕机，为了数据不丢失，会将每个Broker集群节点进行横向扩展，将Broker节点在建一个HA集群，解决单点问题。

Broker是一个主从集群，集群中有Master和Slave。Master：负责读写操作。Slave：Master中国的数据的备份，Master挂了，Slave自动切换为Master。一个Master有多个Slave，一个Slave有一个Master。通过指定相同的BrokerName、不同的Brokerid来确定Master和Slave的对应关系，0为Master,非0为Slave。