IDEA 导入 RocketMQ 源码

于 2024-08-18 16:06:00 发布
阅读量523 收藏 7
点赞数 12
分类专栏： 源码解读 踩坑系列 文章标签： java-rocketmq intellij-idea rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhmico/article/details/141297360
版权

目录

前言

最近项目中有个功能需要在本地调试下 RocketMQ，所以需要在本地导入 RocketMQ 的源码并启动，故做此记录，便于回顾问题和与各位同学一起探讨。

一、RocketMQ 架构

在源码搭建前， 需要先理解 RocketMQ 的四个重要组件， 以及 RocketMQ 的工作流程：

在这里插入图片描述

  • NameServer 是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

  • Broker 部署相对复杂，Broker 分为 Master 与 Slave，一个 Master 可以对应多个 Slave，但是一个 Slave 只能对应一个 Master，Master 与 Slave 的对应关系通过指定相同的 BrokerName，不同的 BrokerId 来定义，BrokerId 为 0 表示 Master，非 0 表示 Slave。Master 也可以部署多个。每个 Broker 与 NameServer 集群中的所有节点建立长连接，定时注册 Topic 信息到所有 NameServer。 注意：当前 RocketMQ 版本在部署架构上支持一 Master 多 Slave，但只有 BrokerId=1 的从服务器才会参与消息的读负载。

  • Producer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 获取 Topic 路由信息，并向提供 Topic 服务的 Master 建立长连接，且定时向 Master 发送心跳。Producer 完全无状态，可集群部署。

  • Consumer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 获取 Topic 路由信息，并向提供 Topic 服务的 Master、Slave 建立长连接，且定时向 Master、Slave 发送心跳。Consumer 既可以从 Master 订阅消息，也可以从 Slave 订阅消息，消费者在向 Master 拉取消息时，Master 服务器会根据拉取偏移量与最大偏移量的距离（判断是否读老消息，产生读 I/O），以及从服务器是否可读等因素建议下一次是从 Master 还是 Slave 拉取。

结合部署架构图，描述集群工作流程：

  • 启动 NameServer，NameServer 起来后监听端口，等待 Broker、Producer、Consumer 连上来，相当于一个路由控制中心。

  • Broker 启动，跟所有的 NameServer 保持长连接，定时发送心跳包。心跳包中包含当前 Broker 信息 ( IP+ 端口等) 以及存储所有 Topic 信息。注册成功后，NameServer 集群中就有 Topic 跟 Broker 的映射关系。

  • 收发消息前，先创建 Topic，创建 Topic 时需要指定该 Topic 要存储在哪些 Broker 上，也可以在发送消息时自动创建 Topic。

  • Producer 发送消息，启动时先跟 NameServer 集群中的其中一台建立长连接，并从 NameServer 中获取当前发送的 Topic 存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。

  • Consumer 跟 Producer 类似，跟其中一台 NameServer 建立长连接，获取当前订阅 Topic 存在哪些 Broker 上，然后直接跟 Broker 建立连接通道，开始消费消息。

二、环境准备

  • ① JDK 1.8

    java -version

    在这里插入图片描述

  • ② IntelliJ IDEA 2021

  • ③ RocketMQ-4.9.x 源码

  • ④ Maven

  • ⑤ Git

  • ⑥ Windows 11

三、下载源码

我们可以在 github 或者 gitee 上都能下载到 RocketMQ 的源码

github 上下载：

github 上搜素 rocketmq 就能找到：https://github.com/apache/rocketmq

在这里插入图片描述

gitee上下载：

gitee 上搜素 rocketmq 就能找到：https://gitee.com/apache/rocketmq

在这里插入图片描述

这里我是直接下载 ZIP 压缩包的，可以避免很多问题

在这里插入图片描述

解压：

在这里插入图片描述

四、编译源码

4.1 导入源码

打开 IDEA ，选择 File -> Open

在这里插入图片描述

选中 rocketmq 源码所在目录

在这里插入图片描述

导入进来是这样子的

在这里插入图片描述

项目导进来之后先检查下 JDK 的配置，配置 JDK 版本 1.8 的（建议 JDK 的版本不要配置太高）

在这里插入图片描述

配置你的 Maven

在这里插入图片描述

检查下 git 配置（编译的时候会自动去检测 git，所以需要检查下）

在这里插入图片描述

4.2 目录结构

在这里插入图片描述

4.3 运行程序

本地 Debug 环境搭建过程如下：

  • ① 通过源码启动 Namesrv
  • ② 通过源码启动 broker
  • ③ 通过源码启动 Producer
  • ④ 通过源码启动 Consumer

1. 启动 Namesrv

Namesrv 源码在 rocketmq-namesrv 包下，启动类是 src/main/java/org/apache/rocketmq/namesrv/NamesrvStartup.java，直接通过NamesrvStartup 的 main 方法启动会失败

在这里插入图片描述

终端输出提示我们需要配置一个 ROCKETMQ_HOME 环境变量，我们将环境变量配置到 IDEA 中

在这里插入图片描述

例如：ROCKETMQ_HOME=D:\source-code\rocketmq-4.9.x\rocketmq-4.9.x

在这里插入图片描述

再次启动 NamesrvStartup 后再次报错

在这里插入图片描述

意思是没有读到 conf 目录下的配置文件 logback_namesrv.xml

那就在项目下创建一个 conf 的文件夹

在这里插入图片描述

在这里插入图片描述

logback_namesrv.xml 这个配置文件可以在 distribution 的模块下找到，只需要将该文件复制一份到你所创建 conf 目录下即可

在这里插入图片描述

再启动 namesrv，控制台提示启动成功 The Name Server boot success.

在这里插入图片描述

到此 NameSrver 就算是启动完成了

2. 启动 Broker

Broker 源码在 rocketmq-broker 包下，启动类是 src/main/java/org/apache/rocketmq/broker/BrokerStartup.java，如果直接通过 IDEA 启动也是会失败

在这里插入图片描述

与上面 namesrv 一样，我们在 IDEA 上配置启动环境变量 ROCKETMQ_HOME

例如：ROCKETMQ_HOME=D:\source-code\rocketmq-4.9.x\rocketmq-4.9.x

在这里插入图片描述

再次启动还是会报与 Nameserv 相同的问题，我们只需要在 distribution 模块下找到 broker 相关的两个配置文件 logback_broker.xml 和 broker.conf 两个文件复制到 conf 目录下即可

在这里插入图片描述

再次启动，就可以看到 broker 也正常运行了

在这里插入图片描述

但是仔细观察会发现虽然 broker 启动成功了，但是 brokerName 好像和配置文件 broker.conf 中的 brokerName 不一致

在这里插入图片描述

我们可以启动 broker 时让它指定以 conf/broker.conf 的配置文件启动

在这里插入图片描述

再次启动

在这里插入图片描述

在 broker.conf 的配置文件中还有以下配置可以修改

# namesrv服务地址
namesrvAddr = 127.0.0.1:9876
# 运行自动创建topic，避免调试的时候麻烦
autoCreateTopicEnable = true
# 数据存储路径
storePathRootDir = D:/file/rocketmq/data_store
# commitlog存储文件
storePathCommitLog = D:/file/rocketmq/data_store/commitlog
# 消费队列存储文件
storePathConsumeQueue = D:/file/rocketmq/data_store/consumequeue
# 索引存储文件
storePathIndex = D:/file/rocketmq/data_store/index
# checkpoint存储文件
storeCheckpoint = D:/file/rocketmq/data_store/checkpoint
# abort文件
abortFile = D:/file/rocketmq/data_store/abort

做本地调试的时候最好添加以下两个配置：

# namesrv服务地址
namesrvAddr = 127.0.0.1:9876
# 运行自动创建topic，避免调试的时候麻烦
autoCreateTopicEnable = true

在这里插入图片描述

为了更好的查看启动 broker 的相关配置，可以在 logback_broker.xml 配置文件中的 RocketmqBroker 里面追加 <appender-ref ref="STDOUT"/> 配置，例如：

    <logger name="RocketmqBroker" additivity="false">
        <level value="INFO"/>
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="RocketmqBrokerAppender"/>
    </logger>

在这里插入图片描述

3. 启动 Producer

在 example 模块中官方给了一个 producer 的示例

在这里插入图片描述

package org.apache.rocketmq.example.quickstart;

import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class Producer {

	// 发送消息次数：原本是 1000 次，作为演示我调整为 1 次
    public static final int MESSAGE_COUNT = 1;
    public static final String PRODUCER_GROUP = "please_rename_unique_group_name";
    public static final String DEFAULT_NAMESRVADDR = "127.0.0.1:9876";
    public static final String TOPIC = "TopicTest";
    public static final String TAG = "TagA";

    public static void main(String[] args) throws MQClientException, InterruptedException {

        DefaultMQProducer producer = new DefaultMQProducer(PRODUCER_GROUP);
        // 下面这行代码原本是注释的，这里要放开注释
        producer.setNamesrvAddr(DEFAULT_NAMESRVADDR);

        producer.start();

        for (int i = 0; i < MESSAGE_COUNT; i++) {
            try {
                Message msg = new Message(TOPIC /* Topic */,
                    TAG /* Tag */,
                    ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
                );

                SendResult sendResult = producer.send(msg);
                System.out.printf("%s%n", sendResult);
            } catch (Exception e) {
                e.printStackTrace();
                Thread.sleep(1000);
            }
        }
        producer.shutdown();
    }
}

直接运行即可

在这里插入图片描述

可以看到是有发送一条消息的

4. 启动 Consumer

同样的在 example 模块中官方给了一个 consumer 的示例

在这里插入图片描述

package org.apache.rocketmq.example.quickstart;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;

public class Consumer {

    public static final String CONSUMER_GROUP = "please_rename_unique_group_name_4";
    public static final String DEFAULT_NAMESRVADDR = "127.0.0.1:9876";
    public static final String TOPIC = "TopicTest";

    public static void main(String[] args) throws InterruptedException, MQClientException {

        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(CONSUMER_GROUP);
		// 下面这行代码原本是注释的，这里要放开注释
        consumer.setNamesrvAddr(DEFAULT_NAMESRVADDR);

        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        consumer.subscribe(TOPIC, "*");
        consumer.registerMessageListener((MessageListenerConcurrently) (msg, context) -> {
            System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msg);
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();

        System.out.printf("Consumer Started.%n");
    }
}

直接运行

在这里插入图片描述

运行后可以看到 consumer 消费调了之前 producer 生成出来的那条消息

五、监控平台的搭建

RocketMQ 有一个专门的监控平台来查看 MQ 的情况，大概长这样子

在这里插入图片描述

5.1 下载 console 源码

下载链接：https://github.com/apache/rocketmq-externals

在这里插入图片描述可以通过 git 把它给拉下来，可以看到这里面有 rocketmq 与各种各样的技术集成，但是这个监控平台只需要启动 rocketmq-console 这个服务就行了

以下是我下载的：
链接：百度网盘链接
提取码：no5x

找个目录存放，然后解压下来。

在这里插入图片描述

5.2 IDEA 启动

进入 IDEA ，打开 rocketmq-console 项目

在这里插入图片描述

在这里插入图片描述

IDEA 打开以后，修改配置文件 application.properties

在这里插入图片描述
主要是将 rocketmq.config.namesrvAddr 设置成你 RocketMQ 所运行的服务器 IP (公网)地址，然后就可以直接启动了

在这里插入图片描述启动完成之后游览器上输入：localhost:8080，访问

在这里插入图片描述

到目前位置，RocketMQ 的监控平台也用 IDEA 启动成功了

参考文章：

RocketMQ 监控平台搭建与项目引入：https://blog.csdn.net/xhmico/article/details/124489116

基于 IDEA 搭建 RocketMQ-4.6 源码环境：https://juejin.cn/post/7166279522772320286

【RocketMQ | 源码分析】RocketMQ本地调试环境搭建：https://juejin.cn/post/7216729116690694199

手把手教你使用Idea调试RocketMQ源码：https://juejin.cn/post/7166175844145037319

RocketMQ 源码分析： https://gitee.com/haijun1998/rocketmq、https://gitee.com/wen-zhan/rocketmq

多加点辣也没关系
关注
  • 12
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Idea调试Rocketmq源码编译运行
Java2B
01-05 1308
Rocketmq源码编译运行 下载 从github下载源码，比较慢，也可以从gitee下载 源码目录结构 名称 作用 broker broker模块：c和p端消息存储逻辑 client 客户端api：produce、consumer端 接受与发送api common 公共组件：常量、基类、数据结构 tools 运维tools：命令行工具模块 store 存储模块：消...
Idea导入eureka源码实现过程解析
08-24
本文将详细介绍如何使用IntelliJ IDEA这个流行的Java集成开发环境（IDE）导入Eureka源码，以此来帮助用户更加深入地理解和使用这一技术。本文中，我们将通过一系列的步骤，包括下载源码、配置开发环境、修改项目配置...
idea 源码启动rocketmq
batman
05-16 652
文章目录1.1 环境搭建1.1.1 源码拉取1.1.2 导入IDEA1.1.3 调试1）启动NameServer2）启动Broker3）发送消息4）消费消息2.1 rocketmq dashboard搭建 1.1 环境搭建 依赖工具 JDK ：1.8+ Maven IntelliJ IDEA 1.1.1 源码拉取 从官方仓库 https://github.com/apache/rocketmq clone或者download源码。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(i
RocketMQ源码构建
weixin_52518909的博客
07-15 396
RocketMQ源码环境构建，涉及到namesrv、broker、producer、consumer以及dashboard的源码编译构建
RocketMQ源码分析
lx9876lx的博客
02-27 5471
RocketMQ源码分析
44 源码：从Github拉取RocketMQ源码以及导入IntellijIDEA中
喜欢历史的码农
07-29 565
1. 从Github上拉取RocketMQ源码 进入RocketMQ的github网站，地址为：https://github.com/apache/rocketmq 进入上述url地址后，可以看到一个“clone or download” 的按钮，在里面点击“Download ZIP” ，就可以下载RocketMQ的源码了。 下载到本地后，是一个master.zip包，解压缩之后是 rocketmq-master目录，这里就存放了RocketMQ最新 master 分支的源码了。 2. 将Roc
Rocketmq源码分析
总结复盘，才能不迷失自己！
03-25 529
Rocketmq源码下载网址
04-RocketMQ源码解读
Joanna_or_zhouzhou的博客
06-03 679
04-RocketMQ源码解读
RocketMQ源码本地搭建调试
JavaEdge全是干货的技术号
01-26 1739
中间出一些问题，都能根据提示信息在源码中找到相应解决方案，多看源码，是成长捷径。
IDEA下通过rocketMQ源码搭建rocketMQ开发测试环境（源码编译，环境搭建，功能测试）
guilindi的博客
12-06 3663
一：下载 下载网址： http://rocketmq.apache.org/release_notes/release-notes-4.3.2/      http://rocketmq.apache.org/release_notes/                                       有两种下载格式：source是源码下载，binary是二进制文件下载。 ...
jmeter5.1.1源码导入idea直接修改newDriver运行路径可用
11-23
jmeter5.1.1源码导入idea 解压import idea 编辑newDriver运行vm options 添加-Djmeter.home=F:\ProjectCode\workspace\apache-jmeter-5.1.1即可
Spring实现源码下载编译及导入IDEA过程图解
08-18
Spring框架源码下载编译及IDEA导入过程详解 Spring框架作为Java生态系统中的一份子，提供了强大而灵活的功能，能够帮助开发者快速构建企业级应用程序。然而，对于新手来说，下载和编译Spring源码，然后将其导入...
IDEA导入Git项目的方法
10-14
IDEA不仅提供了强大的代码编辑、调试和版本控制功能，还支持方便地导入和管理Git项目。下面我们将详细探讨如何在IDEA中导入Git项目。 首先，你需要确保已经安装了Git客户端，并且IDEA也集成了Git插件。如果你还没有...
IDEA设置导入备份.zip
09-20
"IDEA设置导入备份.zip"文件是一个包含了IDEA设置的备份，这对于开发者来说非常有用，因为它们可以保存个人的定制配置，包括键盘快捷键、代码风格、插件和其他偏好设置。当在不同电脑上工作或重装系统后，可以快速...
SpringBoot优雅的封装不同研发环境下（环境隔离）RocketMq自动ack和手动ack
qq_37557563的博客
08-12 536
SpringBoot优雅的封装不同研发环境下（环境隔离）RocketMq自动ack和手动ack,并提供具体示例，亲测有效
Java进阶篇之接口的概念与应用
code2cat的博客
08-14 1360
接口在Java中是一个非常重要的设计工具，能够帮助开发者定义行为规范、实现代码的解耦与模块化。在实际项目中，接口的应用不仅限于设计模式，还广泛应用于服务层与数据层的解耦、模块化设计、与第三方库的集成等场景。掌握接口的使用技巧，将极大地提高你编写高质量、可维护代码的能力。关键点回顾接口的定义：使用interface关键字定义接口，接口中可以包含抽象方法、默认方法和静态方法。接口的实现：类通过implements关键字实现一个或多个接口，并提供接口中所有抽象方法的实现。接口的应用场景。
在IDEA中用自带的数据库 连接 redis 失败（JedisAccessControlException）
最新发布
小丁的博客
08-15 282
在IDEA中用自带的数据库 连接 redis 失败（JedisAccessControlException）
网页版IntelliJ IDEA部署
atbigapp的博客
08-08 1581
今天要为大家带来一个黑科技——如何在云端部署和使用WEB版的IntelliJ IDEA，让你在任何地方都可以随心所欲地进行Java开发。这个方法特别适合那些用着老旧Windows电脑，部署项目时举步维艰的开发者们。
idea导入spring源码
09-08
idea导入spring源码的步骤如下： 1. 打开IntelliJ IDEA，并点击"File"菜单，选择"New"，然后选择"Project from Existing Sources"。 2. 在弹出的对话框中，选择spring源码所在的目录，然后点击"OK"按钮。 3. 在下一步的对话框中选择"Import project from external model"，然后选择"Maven"。 4. 在下一步的对话框中，点击"Next"按钮，并在"Project SDK"下拉菜单中选择适合的JDK版本。 5. 点击"Next"按钮，然后在新对话框中选择需要导入的模块，通常我们需要导入spring-core和其他相关的模块。 6. 点击"Next"按钮，然后在新对话框中指定项目的名称和存储位置。 7. 点击"Finish"按钮完成导入。 8. 在导入完成后，IDEA将会自动构建项目，并加载所有的依赖库。 9. 导入完成后，我们可以开始阅读和调试spring的源码。 需要注意的是，导入spring源码需要一定的时间和资源，因为spring源码非常庞大，而且有很多依赖库需要下载和配置。同时，由于源码中可能存在一些依赖问题或者编译错误，我们需要仔细查看编译日志并做相应的处理。此外，为了方便阅读和理解源码，我们可以配置相关的源码查看和调试工具，以提高开发效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值