RocketMQ 架构简析，看这篇就够了！，java线程池面试题

• 消息（Message）

消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key。系统提供了通过Message ID和Key查询消息的功能。

• 标签（Tag）

为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

2

关于消息中间件

消息中间件需要解决的问题：异步化、削峰填谷。

消息中间件应具备的基础能力是：消息发布、订阅、消费。概念相对简单这里不过多描述。

消息中间件的一些重要的机制：

1. 消息优先级（Message Priority；RocketMQ不支持）

优先级是指在一个消息队列中，每条消息都有不同的优先级，一般用整数来描述，优先级高的消息先投递，如果消息完全在一个内存队列中，那么在投递前可以按照优先级排序，令优先级高的先投递。

由于RocketMQ所有消息都是持久化的，所以如果按照优先级来排序，开销会非常大，因此RocketMQ没有特意支持消息优先级，但是可以通过变通的方式实现类似功能，即单独配置一个优先级高的队列，和一个普通优先级的队列，将不同优先级发送到不同队列即可。

2. 顺序消息（Message Order）

消息有序指的是一类消息消费时，能按照发送的顺序来消费。例如：一个订单产生了3条消息，分别是订单创建，订单付款，订单完成。消费时，要按照这个顺序消费才能有意义。但是同时订单之间是可以并行消费的。

RocketMQ可以严格的保证消息有序。

• 投递消息的顺序性：

投递消息的顺序性可通过将一组消息投递到同一分区实现。例如：借助MessageQueueSelector将对相同订单的操作消息投放到同一分区。

• 消费消息的顺序性：

RoctetMQ特性保障：特定分区（queue）中的消息不能同时被同一个消费者组中的多个Consumer消费，以避免重复消费。

通过自定义或使用预置的AllocateQueueStrategy可设定分区的分配策略（哪些分区分配给哪个消费者消费）。

3. 高可用、消息可靠性

3.1 消息持久化

RocketMQ、Kafka 以文件记录形式持久化。

RocketMQ采用了单一的日志文件，即把同1个broker上面所有topic的所有queue的消息，存放在一个文件里面，从而避免了随机的磁盘写入。

如上图所示，所有消息都存在一个单一的CommitLog文件里面，然后有后台线程异步的同步到ConsumeQueue，再由Consumer进行消费。

TODO 同步、异步刷盘。

TODO RocketMQ充分利用Linux文件系统内存cache来提高性能。

TODO CommitLog index Commitlog segment的大小与页缓存一致

RocketMQ消息存储机制会在后面的文章详细说明。

3.2 broker master/salve

TODO broker group master/salve

TODO Async/Sync Master；

4. 高并发、可扩展 ==> 分布式

提高并发效率 => 提高生产、消费并行度=>提高分区数量

RocketMQ、kafka都支持topic数据分区存放、动态扩展。

以RocketMQ为例：

topic创建的时候可以用集群模式去创建（这样集群里面每个broker的queue的数量相同），也可以用单个broker模式去创建（这样每个broker的queue数量可以不一致）。

4.1 生产并行度

RocketMQ的生产并行度是由其自身机制及broker的数量决定的。这块后面的文章会详细分析。

4.2 消费并行度

广播模式下所有消费者会接受并消费当前topic下所有Queue的消息。

集群模式下，一个queue只分配给一个consumer实例：

这是由于拉取消息是consumer主动控制的，如果多个实例同时消费一个queue的消息，会导致同一个消息在不同的实例下被消费多次，所以算法上都是一个queue只分给一个consumer实例，一个consumer实例可以允许同时分到不同的queue。

Kafka的消费并行度依赖Topic配置的分区数，如分区数为10，那么最多10台机器来并行消费（每台机器只能开启一个线程），或者一台机器消费（10个线程并行消费）。即消费并行度和分区数一致。

RocketMQ消费并行度分两种情况：

顺序消费方式并行度同卡夫卡完全一致；

乱序方式并行度取决于Consumer的线程数，如Topic配置10个队列，10台机器消费，每台机器100个线程，那么并行度为1000。

4.3 消息队列分配策略

Producer使用MessageQueueSelector选择将消息投放到哪个分区

使用AllocateMessageQueueStrategy将不同分区分配给Consumer Group中的不同Consumer。一个分区（queue）仅允许分配给同一个Consumer Group下的一个Consumer（防止重复消费）。

MessageQueueSelector

内置实现类：

SelectMessageQueueByMachineRoom

SelectMessageQueueByHash

SelectMessageQueueByRandom

可以通过实现MessageQueueSelector接口，来自定义Producer投递消息时选择分区的算法。

AllocateMessageQueueStrategy

内置实现类：

AllocateMessageQueueAveragely：平均分配算法

AllocateMessageQueueAveragelyByCircle：基于环形平均分配算法

AllocateMachineRoomNearby：基于机房临近原则算法

AllocateMessageQueueByMachineRoom：基于机房分配算法

AllocateMessageQueueConsistentHash：基于一致性hash算法

AllocateMessageQueueByConfig：基于配置分配算法

可以通过实现AllocateMessageQueueStrategy来自定义queue 分配给特定Consumer Group下不同Consumer的策略。

PS：防止找不到本篇文章，可以收藏点赞，方便翻阅查找哦。

往期推荐

SpringBoot+Kafka+ELK 完成海量日志收集（超详细）

开源项目 | 一款 SpringBoot 互联网企业级开源支付系统

Nginx 通过 Lua + Redis 实现动态封禁 IP

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

本次面试答案，以及收集到的大厂必问面试题分享：

家的负担。**
[外链图片转存中…(img-rEXV8MR4-1711079894237)]
[外链图片转存中…(img-FgVNKLLW-1711079894238)]
[外链图片转存中…(img-tVOKtnB4-1711079894239)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
[外链图片转存中…(img-PFpAtjpM-1711079894239)]

本次面试答案，以及收集到的大厂必问面试题分享：

[外链图片转存中…(img-YYtAzrU1-1711079894240)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录