RocketMQ 架构简析，看这篇就够了！，2024年最新java面试常考的编程题及答案

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

Producer（消息）生产者

Producer与Namesrv集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的broker master建立长连接，且定时向broker master发送心跳。Producer完全无状态，可集群部署。

Producer负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息，单向发送不需要。

Consumer（消息）消费者

Consumer与Namesrv集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。另外，欢迎关注我们，公号终码一生，后台回复“资料”，可以获取相关视频教程和最新面试资料。

Consumer负责消费消息，一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。

集群模式下：相同Consumer Group的每个Consumer实例平均分摊消息。一个条消息仅能被一个Consumer Group消费一次。

Producer、Consumer都只需要和集群中一个Namesrv建立长连接。Broker需要向集群中所有的Namesrv发送心跳包。

其实很好理解：

Namesrv集群提供高可用的命名服务。

Producer、Consumer只需要从其中一台定期同步路由信息。

如果Broker只随机调一台发送心跳包。那么不同的Namesrv保存的路由信息会出现不一致的情况。

消费者类型：

• 拉取式消费（Pull Consumer）

Consumer消费的一种类型，应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息，应用就会启动消费过程。

Pull方式里，取消息的过程需要用户自己写（包括提交offset等操作）。

• 推动式消费（Push Consumer）

Consumer消费的一种类型，该模式下Broker收到数据后会主动推送给消费端，该消费模式一般实时性较高。

Push Consumer原理上也是采取pull模式。实际上就是长轮询的pull模式。

一些概念

• 主题（Topic）

表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。每个topic可分为若干个分区（queue）

• 生产者组（Producer Group）

同一类Producer的集合，这类Producer发送同一类消息且发送逻辑一致。如果发送的是事务消息且原始生产者在发送之后崩溃，则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。

• 消费者组（Consumer Group）

同一类Consumer的集合，这类Consumer通常消费同一类消息且消费逻辑一致。消费者组使得在消息消费方面，实现负载均衡和容错的目标变得非常容易。要注意的是，消费者组的消费者实例必须订阅完全相同的Topic。RocketMQ 支持两种消息模式：集群消费（Clustering）和广播消费（Broadcasting）。

• 普通顺序消息（Normal Ordered Message）

普通顺序消费模式下，消费者通过同一个消费队列收到的消息是有顺序的，不同消息队列收到的消息则可能是无顺序的。

• 严格顺序消息（Strictly Ordered Message）

严格顺序消息模式下，消费者收到的所有消息均是有顺序的。

• 消息（Message）

消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key。系统提供了通过Message ID和Key查询消息的功能。

• 标签（Tag）

为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

2

关于消息中间件

消息中间件需要解决的问题：异步化、削峰填谷。

消息中间件应具备的基础能力是：消息发布、订阅、消费。概念相对简单这里不过多描述。

消息中间件的一些重要的机制：

1. 消息优先级（Message Priority；RocketMQ不支持）

优先级是指在一个消息队列中，每条消息都有不同的优先级，一般用整数来描述，优先级高的消息先投递，如果消息完全在一个内存队列中，那么在投递前可以按照优先级排序，令优先级高的先投递。

由于RocketMQ所有消息都是持久化的，所以如果按照优先级来排序，开销会非常大，因此RocketMQ没有特意支持消息优先级，但是可以通过变通的方式实现类似功能，即单独配置一个优先级高的队列，和一个普通优先级的队列，将不同优先级发送到不同队列即可。

2. 顺序消息（Message Order）

消息有序指的是一类消息消费时，能按照发送的顺序来消费。例如：一个订单产生了3条消息，分别是订单创建，订单付款，订单完成。消费时，要按照这个顺序消费才能有意义。但是同时订单之间是可以并行消费的。

RocketMQ可以严格的保证消息有序。

• 投递消息的顺序性：

投递消息的顺序性可通过将一组消息投递到同一分区实现。例如：借助MessageQueueSelector将对相同订单的操作消息投放到同一分区。

• 消费消息的顺序性：

RoctetMQ特性保障：特定分区（queue）中的消息不能同时被同一个消费者组中的多个Consumer消费，以避免重复消费。

通过自定义或使用预置的AllocateQueueStrategy可设定分区的分配策略（哪些分区分配给哪个消费者消费）。

3. 高可用、消息可靠性

3.1 消息持久化

RocketMQ、Kafka 以文件记录形式持久化。

RocketMQ采用了单一的日志文件，即把同1个broker上面所有topic的所有queue的消息，存放在一个文件里面，从而避免了随机的磁盘写入。

如上图所示，所有消息都存在一个单一的CommitLog文件里面，然后有后台线程异步的同步到ConsumeQueue，再由Consumer进行消费。

TODO 同步、异步刷盘。

TODO RocketMQ充分利用Linux文件系统内存cache来提高性能。

TODO CommitLog index Commitlog segment的大小与页缓存一致

RocketMQ消息存储机制会在后面的文章详细说明。

3.2 broker master/salve

TODO broker group master/salve

TODO Async/Sync Master；

4. 高并发、可扩展 ==> 分布式

提高并发效率 => 提高生产、消费并行度=>提高分区数量

RocketMQ、kafka都支持topic数据分区存放、动态扩展。

以RocketMQ为例：

topic创建的时候可以用集群模式去创建（这样集群里面每个broker的queue的数量相同），也可以用单个broker模式去创建（这样每个broker的queue数量可以不一致）。

4.1 生产并行度

RocketMQ的生产并行度是由其自身机制及broker的数量决定的。这块后面的文章会详细分析。

4.2 消费并行度

广播模式下所有消费者会接受并消费当前topic下所有Queue的消息。

集群模式下，一个queue只分配给一个consumer实例：

这是由于拉取消息是consumer主动控制的，如果多个实例同时消费一个queue的消息，会导致同一个消息在不同的实例下被消费多次，所以算法上都是一个queue只分给一个consumer实例，一个consumer实例可以允许同时分到不同的queue。

Kafka的消费并行度依赖Topic配置的分区数，如分区数为10，那么最多10台机器来并行消费（每台机器只能开启一个线程），或者一台机器消费（10个线程并行消费）。即消费并行度和分区数一致。

RocketMQ消费并行度分两种情况：

顺序消费方式并行度同卡夫卡完全一致；

乱序方式并行度取决于Consumer的线程数，如Topic配置10个队列，10台机器消费，每台机器100个线程，那么并行度为1000。

4.3 消息队列分配策略

Producer使用MessageQueueSelector选择将消息投放到哪个分区

使用AllocateMessageQueueStrategy将不同分区分配给Consumer Group中的不同Consumer。一个分区（queue）仅允许分配给同一个Consumer Group下的一个Consumer（防止重复消费）。

MessageQueueSelector

内置实现类：

SelectMessageQueueByMachineRoom

SelectMessageQueueByHash

SelectMessageQueueByRandom

可以通过实现MessageQueueSelector接口，来自定义Producer投递消息时选择分区的算法。

AllocateMessageQueueStrategy

内置实现类：

AllocateMessageQueueAveragely：平均分配算法

AllocateMessageQueueAveragelyByCircle：基于环形平均分配算法

AllocateMachineRoomNearby：基于机房临近原则算法

AllocateMessageQueueByMachineRoom：基于机房分配算法

最后

给大家送一个小福利

附高清脑图，高清知识点讲解教程，以及一些面试真题及答案解析。送给需要的提升技术、准备面试跳槽、自身职业规划迷茫的朋友们。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

法

最后

给大家送一个小福利

[外链图片转存中…(img-g2sywN6P-1713646449112)]

附高清脑图，高清知识点讲解教程，以及一些面试真题及答案解析。送给需要的提升技术、准备面试跳槽、自身职业规划迷茫的朋友们。

[外链图片转存中…(img-TmL7fqQq-1713646449113)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-fhhomXlO-1713646449113)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！