爆肝分享阿里专家整理的内部绝密RocketMQ核心原理与最佳实践笔记！(1)

RocketMQ的生产者原理和最佳实践；

========================

• 2.1生产者原理，通过第1章的讲解，相信读者对RocketMQ有了一个基本的认识，本节将对RocketMQ中的生产者做基本介绍。

• 2.2生产者启动流程，DefaultMQProducer 是 RocketMQ 中默认的生产者实现 ，DefaultMQProducer的类之间的继承关系，可以看到这个生产者在实现时包含生产者的操作和配置属性，这是典型的类对象设计。本节将介绍类对象的一些核心属性和方法。

• 2.3消息发送流程，消息发送流程首先是 RocketMQ 客户端接收业务层消息，然后通过DefaultMQProducerImpl发送一个RPC请求给Broker，再由Broker处理请求并保存消息。

• 2.4发送消息最佳实践，发送普通消息、顺序消息、延迟消息、事务消息、单向消息、批量消息发送。

• 2.5生产者最佳实践总结，相对消费者而言，生产者的使用更加简单，一般读者主要关注消息类型、消息发送方法和发送参数，即可正常使用RocketMQ发送消息。

在实际使用时如何选择消息类型和消费发送方法呢？笔者在这里总结了常用的消息类型、消息发送方法、发送基本参数，方便大家参考。

RocketMQ的消费流程和最佳实践；

=======================

• 3.1消费者概述，消费者一般指获取消息、转发消息给业务代码处理的一系列代码实现。在 RocketMQ中，消费行为是如何进行的呢？本节将详细讲述。

• 3.2消费者启动机制，RocketMQ 客户端中有两个独立的消费者实现类 ：org.apache.rocketmq.client.consumer.DefaultMQPullConsumer和org.apache.rocketmq.client.consumer.DefaultMQPushConsumer 。 下面将分别进行介绍。

• 3.3消费者的Rebalance机制，客户端是通过Rebalance服务做到高可靠的。当发生Broker掉线、消费者实例掉线、Topic 扩容等各种突发情况时，消费者组中的消费者实例是怎么重平衡，以支持全部队列的正常消费的呢？

• 3.4消费进度保存机制，在消费者启动时会同时启动位点管理器，那么位点具体是怎么管理的呢？RocketMQ 设计了远程位点管理和本地位点管理两种位点管理方式。集群消费时，位点由客户端提交给Broker保存，具体实现代码在RemoteBrokerOffsetStore.java文件中；广播消费时 ，位 点 保 存在消费者本地磁盘上 ， 实现代码在LocalFileOffsetStore.java文件中。

• 3.5消费方式，RocketMQ的消费方式包含Pull和Push两种。Pull方式：用户主动Pull消息，自主管理位点，可以灵活地掌控消费进度和消费速度，适合流计算、消费特别耗时等特殊的消费场景。

缺点也显而易见，需要从代码层面精准地控制消费，对开发人员有一定要求。在RocketMQ中org.apache.rocketmq.client.consumer.DefaultMQPullConsumer 是 默认的Pull消费者实现类。Push 方式：代码接入非常简单，适合大部分业务场景。缺点是灵活度差，在了解其消费原理后，排查消费问题方可简单快捷。在RocketMQ中org.apache.rocketmq.client.consumer.DefaultMQPushConsumer 是 默认的Push消费者实现类。

• 3.6消息过滤

• 3.7消费者最佳实践总结，本章主要介绍了消费流程和消费者原理、过滤器的设计和执行过程。Pull 和 Push 在使用中有两点特别需要注意：订阅关系不一致和不能消费时怎么排查，这里分享一下笔者在实践过程中的经验。

RocketMQ架构和部署最佳实践；

======================

4.1 RocketMQ架构，RocketMQ 不单单是一个技术，它还是一个体系。

4.2常用的部署拓扑和部署实践，常用的RocketMQ的部署拓扑方式有5种，不同的部署方式可靠性不同，大家在公司落地部署时，可以根据企业业务的需求进行选择，或者有新的部署方式也可以分享给笔者和RocketMQ社区。

Namesrv；

============

• 5.1 Namesrv概述，Namesrv在RocketMQ体系中主要用于保存元数据、提高Broker的可用性。

在 RPC 通信中，我们通常将服务提供者称为服务端，使用服务的端称为客户端。如果服务端有扩容或缩容，客户端如何感知呢？业内常用的做法是，服务注册与发现。通过注册，可以添加更多提供服务的服务端实例，当然有实例宕机，也可以通过摘除来保证服务的可靠性。Broker作为RocketMQ服务的提供者，其工作原理也是一样的。

• 5.2 Namesrv架构，Namesrv组件，Namesrv启动流程，Namesrv停止流程；

• 5.3 RocketMQ的路由原理，生产者发送消息、消费者消费消息时都需要从Namesrv拉取Topic路由信息，那么这些路由信息是如何注册到 Namesrv的呢？如果 Broker 异常宕机，路由信息又是如何更新的呢？

下面，我们通过路由注册和路由剔除两个方面进行详细讲解。

Broker存储机制；

===============

• 6.1 Broker概述，本章主要讲解了 Broker的基本知识，以及 Broker在体系中所处的地位。带领读者从部署结果上看Broker的各个文件目录结构，为下一章学习存储模块打下基础。本章的核心内容有：● Broker在RocketMQ体系中所处的地位。● Broker的数据目录结构。● Broker的启动和停止流程。

• 6.2 Broker存储机制，堆积能力是消息队列的一个重要考核指标。存储机制是RocketMQ中的核心，也是亮点设计，因为存储机制决定写入和查询的效率。

• 6.3 Broker CommitLog索引机制，绝大部分存储组件都有索引机制，RocketMQ 也一样，有巨量堆积能力的同时，通过索引可以加快读取和查询。

本节主要讲解RocketMQ的ConsumeQueue和IndexFile两种索引的基本原理：● 索引的数据结构。● 索引的构建过程。● 索引如何使用。

• 6.4 Brokeri过期文件删除机制，RocketMQ中主要保存了CommitLog、Consume Queue、Index File三种数据文件。由于内存和磁盘都是有限的资源，Broker不可能永久地保存所有数据，所以一些超过保存期限的数据会被定期删除。RocketMQ 通过设置数据过期时间来删除额外的数据文件，具体的实现逻辑是通过org.apache.rocketmq.store.DefaultMessageStore.start（）方法启动的周期性执行方法DefaultMessageStore.this.cleanFilesPeriodically（）来实现的。

• 6.5 Broker主从同步机制，当前主流的分布式组件中，可用性都是必备的。本节主要讲RocketMQ中可用性的设计和实现方式，主要内容有如下两个方面：● 主从同步介绍。● 主从同步流程。

• 6.6 Broker的关机恢复机制，可靠性也是当前主流分布式产品的必备特性之一，对于一个金融级可靠的消息队列组件来讲更是如此。本节主要讲解内容如下：● 关机恢复机制的相关文件和实现原理。● 关机恢复机制的恢复过程。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

看完上述知识点如果你深感Java基础不够扎实，或者刷题刷的不够、知识不全面

小编专门为你量身定制了一套<Java一线大厂高岗面试题解析合集：JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法>

针对知识面不够，也莫慌！还有一整套的<Java核心进阶手册>，可以瞬间查漏补缺

全都是一丢一丢的收集整理纯手打出来的

更有纯手绘的各大知识体系大纲，可供梳理：Java筑基、MySQL、Redis、并发编程、Spring、分布式高性能架构知识、微服务架构知识、开源框架知识点等等的xmind手绘图~

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
12488098280)]

[外链图片转存中…(img-qpEqyazN-1712488098280)]
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！