RocketMQ安装以及源码启动

最新推荐文章于 2024-02-17 20:53:50 发布
最新推荐文章于 2024-02-17 20:53:50 发布
阅读量925 收藏 1
点赞数
分类专栏： rocketmq 文章标签： java-rocketmq rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhl1123456789/article/details/130535959
版权

        RocketMQ是一款消息中间件，在我们项目中主要是使用它来进行异步处理业务以及进行解耦，当然还可以用它实现其他业务需求比如流削峰等等，它提供的功能特别多，比如延迟消费、定时消费、消息重试、顺序消费等等。它的整体设计是追求简单和性能高效。

本篇作为开始学习RocketMq的开篇，在本篇主要完成两部分讲解：

1.安装RocketMq以及RocketMq-Console

2.获取源码

安装RocketMQ以及RocketMQ-Console

1.下载RocketMQ压缩包

wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
//解压
unzip rocketmq-all-4.7.1-bin-release.zip

2.启动NameServer

进入解压目录的bin目录下，修改配置NameServer JVM参数，因为我本身给虚拟机分配的内存比较小，而nameserver默认是占4g，所以我把它改小了。

vim runserver.sh
将：
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
改为：
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

启动NameServer：

nohup ./mqnamesrv &

查看是否启动成功：

tail ~/logs/rocketmqlogs//namesrv.log
//结果 看到如下结果表示已经启动成功
2023-05-03 19:45:16 INFO main - tls.client.keyPassword = null
2023-05-03 19:45:16 INFO main - tls.client.certPath = null
2023-05-03 19:45:16 INFO main - tls.client.authServer = false
2023-05-03 19:45:16 INFO main - tls.client.trustCertPath = null
2023-05-03 19:45:16 INFO main - Using JDK SSL provider
2023-05-03 19:45:17 INFO main - SSLContext created for server
2023-05-03 19:45:17 INFO main - Try to start service thread:FileWatchService started:false lastThread:null
2023-05-03 19:45:17 INFO NettyEventExecutor - NettyEventExecutor service started
2023-05-03 19:45:17 INFO main - The Name Server boot success. serializeType=JSON
2023-05-03 19:45:17 INFO FileWatchService - FileWatchService service started

3.启动broker

修改broker配置文件：

cd ../config
vim broker.conf
//添加配置
storePathRootDir=/data/rocketmq/store
storePathCommitLog=/data/rocketmq/store/commitlog
namesrvAddr=127.0.0.1:9876
brokerIP1=192.168.54.128
brokerIP2=192.168.54.128
autoCreateTopicEnable=false

修改JVM启动参数：

cd ../bin
vim runbroker.sh
将：
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"
改为：
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m" 

启动broker：

nohup ./mqbroker -c ../conf/broker.conf &
//查看启动是否成功
less ~/logs/rocketmqlogs/broker.log
//输出以下结果表示启动成功
2023-05-03 20:00:11 INFO FileWatchService - FileWatchService service started
2023-05-03 20:00:11 INFO main - Try to start service thread:PullRequestHoldService started:false lastThread:null
2023-05-03 20:00:11 INFO PullRequestHoldService - PullRequestHoldService service started
2023-05-03 20:00:11 INFO main - Try to start service thread:TransactionalMessageCheckService started:false lastThread:null
2023-05-03 20:00:11 INFO brokerOutApi_thread_1 - register broker[0]to name server 127.0.0.1:9876 OK
2023-05-03 20:00:11 INFO main - The broker[broker-a, 192.168.54.128:10911] boot success. serializeType=JSON and name server is 127.0.0.1:9876
2023-05-03 20:00:21 INFO BrokerControllerScheduledThread1 - dispatch behind commit log 0 bytes
2023-05-03 20:00:21 INFO BrokerControllerScheduledThread1 - Slave fall behind master: 0 bytes
2023-05-03 20:00:21 INFO brokerOutApi_thread_2 - register broker[0]to name server 127.0.0.1:9876 OK
2023-05-03 20:00:51 INFO brokerOutApi_thread_3 - register broker[0]to name server 127.0.0.1:9876 OK
2023-05-03 20:01:11 INFO TransactionalMessageCheckService - create new topic TopicConfig [topicName=RMQ_SYS_TRANS_HALF_TOPIC, readQueueNums=1, writeQueueNums=1, perm=RW-, topicFilterType=SINGLE_TAG, topicSysFlag=0, order=false]
2023-05-03 20:01:11 INFO brokerOutApi_thread_4 - register broker[0]to name server 127.0.0.1:9876 OK
2023-05-03 20:01:21 INFO BrokerControllerScheduledThread1 - dispatch behind commit log 0 bytes
2023-05-03 20:01:21 INFO BrokerControllerScheduledThread1 - Slave fall behind master: 0 bytes
2023-05-03 20:01:21 INFO brokerOutApi_thread_1 - register broker[0]to name server 127.0.0.1:9876 OK 

 查看是否启动成功：

sh ./mqadmin clusterList -n 127.0.0.1:9876
//结果 出现以下结果表示启动成功
RocketMQLog:WARN No appenders could be found for logger (io.netty.util.internal.PlatformDependent0).
RocketMQLog:WARN Please initialize the logger system properly.
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
DefaultCluster    broker-a                0     192.168.54.128:10911   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 467532.35 -1.0000

 额外提示：我在使用mqadmin命令时候报了一个错：

Caused by: org.apache.rocketmq.acl.common.AclException: [10015:signature-failed] unable to calculate a request signature. error=Algorithm HmacSHA1 not available
//解决办法：将你的jdk安装目录下的lib/ext目录的绝对路径加到bin/tools.sh
将
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib:${JAVA_HOME}/jre/lib/ext:${JAVA_HOME}/lib/ext"
修改为
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib:${JAVA_HOME}/jre/lib/ext:${JAVA_HOME}/lib/ext:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.aarch64/jre/lib/ext"

 4.安装rocketMq-Console

下载解压：

wget https://github.com/apache/rocketmq-externals/archive/rocketmq-console-1.0.0.tar.gz

tar -zxvf rocketmq-console-1.0.0.tar.gz
//进入解压文件夹下的rocketmq-console/src/main/resources修改配置文件
rocketmq.config.namesrvAddr=127.0.0.1:9876
然后回到根目录打包
mvn clean  package -DskipTests
//启动 在target目录下的jar，启动java -jar 启动即可

5.下载源码启动项目

下载源码：Release rocketmq-all-4.7.1 · apache/rocketmq · GitHub

启动NameServer：

在nameServer这个模块启动前先配置环境变量：

这个路径是自己指定的。

distribution/conf/logback_namesrv.xml 拷贝到上一步自己指定目录下的conf目录下。

然后启动，控制台输出：

Connected to the target VM, address: '127.0.0.1:59919', transport: 'socket'
The Name Server boot success. serializeType=JSON

启动broker：

将 distribution/conf/logback_brokerxml、broker.conf 文件拷贝到 上一步设置的目录的conf目录下。

修改 broker.conf 中的配置，主要设置 NameServer 的地址、Broker 的名称等相关属性。

vi broker.conf
# 使用如下配置文件
brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
storePathRootDir=/home/dingwpmz/tmp/rocketmq/store
storePathCommitLog=/home/dingwpmz/tmp/rocketmq/store/commitlog
namesrvAddr=127.0.0.1:9876
brokerIP1=192.168.3.10 #自己的主机ip
brokerIP2=192.168.3.10 #自己的主机ip
autoCreateTopicEnable=true

设置broker启动的环境变量和启动参数

启动即可。 

测试：

然后运行 example 中 org/apache/rocketmq/example/quickstart/Producer，这里注意一下，要加下面一行代码

producer.setNamesrvAddr("127.0.0.1:9876");

因为下载的源码默认是没有指定nameServer地址的，我们要手动添加一下。

总结

本篇文章就是介绍了在Linux安装RocketMQ以及源码的下载启动，RocketMQ中有很多好的设计思想值得我们学习。在后面我会介绍RocketMQ的各个模块，包括NameServer、broker以及消息的发送和消费。

 

心雨⁢​⁢⁣
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ-3.5.8 源码安装版
01-25
1. 安装maven 2. 执行install.bat (window) install.sh(linux) 3. 配置java环境变量 4. 启动 nohup sh mqnamesrv -c ../conf/mqnamesrv.properties >namesrv.out 2>&1 & nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties >broker.out 2>&1 & nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties >broker.out 2>&1 & 5. 停止 sh mqshutdown broker;sh mqshutdown namesrv;
rocketmq-console-ng-2.0.0.jar
05-25
已经过mvn clean package -Dmaven.test.skip=true打包编译完成。 可以直接执行启动命令：java -jar rocketmq-console-ng-2.0.0.jar --server.port=9090 默认配置：server.port=8088、rocketmq.config.namesrvAddr=127.0.0.1:9876
RocketMQ快速入门: linux安装RocketMQ并配置开机自启（一）
最新发布
55555的博客
02-17 1804
针对rocketMQ的学习，首当其冲的就是正确安装服务，所以我们今天来看linux下如何安装rocketmq及其控制台服务，并设置各个服务的开机自启。
RocketMQ技术讲解V2.0
08-08
RocketMQ源码分析，分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分进行源码级的讲解。大致如下： 1、讲解commitlog、consumequeue、index、transaction文件等数据结构、数据读写、HA高可用等功能； 2、讲解NameServer的启动、注册Broker、客户端查询Topic的路由信息等功能； 3、讲解Broker的启动、注册、处理Producer发送消息、处理Consumer拉取消息、事务消息的处理等功能； 4、讲解Producer端的启动、发送普通消息、定时消息、顺序消息、事务消息等功能； 5、讲解Consumer端的启动、PUSH模式的消息消费、PULL模式的消息消费、顺序消费/并发消费等功能；
深入探索RocketMQ源码：透视消息中间件的内核机制
12-22
本文深入探索了RocketMQ的源码，从源码环境的搭建开始，逐步解读了RocketMQ的核心组件和功能​​。重点分析了NameServer的作用，即维护Broker服务地址和为Producer及Consumer提供服务获取Broker列表​​。Broker作为RocketMQ业务的核心，负责所有消息的存储和转发，并采用类似JavaWeb开发的MVC架构​​。此外，Broker启动时会向NameServer注册服务信息，并定期发送心跳信息​​。在Producer方面，分为普通发送者和事务消息发送者，其中普通发送者构建Netty客户端向Broker发送消息，而事务消息发送者还需要构建Netty服务端以供Broker回查本地事务状态​​。消息存储方面，探讨了Broker如何存储接收到的消息，以及相关存储文件的作用​​。消费者部分则包括推模式和拉模式消费者，讨论了消费者组的模式和负载均衡的原理​​。最后，文章还介绍了延迟消息的处理流程和核心使用方法​​。通过逐层深入的解读方法，本文为读者提供了对RocketMQ源码的全面理解，有助于在实际项目中更好地应用RocketMQ​​。
从RocketMQ源码脚本看OS参数优化
01-20
1 提要 RocketMQ是一款优秀的消息中间件，从它的启动脚本配置中可以学习到os参数优化的一些思路和经验。但是也不能直接照搬，需要理解其中的参数详解，对比当前项目场景是否适用。用的时候也需要进行多方测试，以免出现问题，千万不要瞎优化。 RocketMQ为了实现高性能高吞吐，对一些参数的调整比较激进。RocketMQ的部署建议是最好在物理实体机上，该机器上不要部署其他同样需要大量资源的软件。 2 从os.sh脚本看参数优化 os.sh脚本位置在 https://github.com/apache/rocketmq/blob/master/distribution/bin/os.sh 该脚本建
RocketMQ源码学习四：Broker启动
qq_27586963的博客
07-10 374
broker也有一个BrokerController，这个是和nameServer一致的。BrokerController封装了很多关于broker的逻辑，比如:broker的初始化，线程池的初始化，通讯组件的初始化，注册各种处理器，初始化各种存储组件等等。broker的启动实际就是调用BrokerController的start()逻辑，也就是初始化各种组件。因为底层是依据netty做通信，底层就是启动一个netty做网络通信。
RocketMQ 源码一，启动篇
insis_mo的博客
09-06 498
recketMQ 源码下载，源码初起动，源码分析
RocketMQ源码-搭建源码调试环境
BASK2312的博客
01-14 670
本文主要介绍了rocketMq的基本架构，通过源码展示了rocketMq的启动方式，最后通过rocketMq项目下example模块中的测试代码展示了消息的收发过程。总的来说，本文还是在准备源码分析的环境，下篇文章开始，我们就正式开始rocketMq的源码分析了。作者：hsfxuebaonull。
RocketMQ源码9- broker 启动流程
BASK2311的博客
03-23 554
本文主要分析了broker解析配置文件，这一步会解析各种配置，并将其赋值到对应的对象中创建及初始化：创建了对象，并进行初始化操作，所谓的初始化，就是加载配置文件中配置、创建线程池、注册请求处理器、启动定时任务等启动：这一步是启动broker的核心组件，如(消息存储)、netty服务，用来处理producer与consumer请求)、netty服务，用来向nameServer上报当前broker信息)等。在分析启动过程中，重点分析了两类消息的发送：在中，broker会向nameServer。
[RocketMQ] NameServer启动流程源码解析 (一)
959
06-20 1227
rockerMQ源码分析之NameServer的启动源码解析
RocketMQ 5.1.0 源码详解 | Producer 启动流程
YonminMa的博客
07-29 1322
本文介绍了 RocketMQ 生产者的启动流程，从 producer.start() 方法开始，分析了 DefaultMQProducer、DefaultMQProducerImpl 和 MQClientInstance 类的作用和关系，以及生产者启动过程中涉及到的定时任务、心跳机制、异步请求处理等功能。最后，本文给出了一个生产者启动成功后的实例内容，展示了生产者的各个属性和对象。本文适合对 RocketMQ 感兴趣的读者阅读，可以帮助读者深入理解 RocketMQ 生产者的工作原理和实现细节
RocketMQ源码 Broker启动流程源码分析
hzwangmr的博客
12-07 455
RocketMQ在启动Broker过程会创建BorkerContoller控制器，初始化大量配置、核心组件、启动大量后台线程。从部署架构中可以看出它主要负责与Namesrv建立netty长连接，上报Routing Info路由信息，也与Producer Cluster和Consumer Cluster建立netty长连接，发送、接收消息。
RocketMQ源码学习五：Producer启动
qq_27586963的博客
07-12 172
producer的启动首先也是初始化加载一些信息，比如加载producerGroup，创建MQClientInstance，初始化topicPublishInfoTable注册表启动的时候第二部就是拉取nameServer地址，因为后续的topic信息也是需要到nameServer上去拉取的启动各种定时任务，包括拉取nameServer地址，topic路由信息的拉取，发送心跳信息等同事也会启动PullMessageService线程，这里主要是拉取消息的逻辑，后期会相信学习。
图文详解，源码启动RocketMq，超详细
woliuqiangdong的博客
11-12 1090
源码下载 从github官网下载https://github.com/apache/rocketmq 我这里下载的是当前最新代码，4.7.1的版本 导入idea 各个代码包的功能 acl：权限控制模块 broker: broker 模块（broke 启动进程） client ：消息客户端，包含消息生产者、消息消费者相关类 common ：公共包 dev ：开发者信息（非源代码） distribution ：部署实例文件夹（非源代码） docs：很多官方文档。虽然不是源码，
RocketMQ源码分析：NameServer架构设计和启动流程
2301_76607156的博客
04-25 196
Broker启动的时候会向所有的NameServer注册，生产者在发送消息时会先从NameServer中获取Broker消息服务器的地址列表，根据负载均衡算法选取一台Broker消息服务器发送消息。NameServer与每台Broker之间保持着长连接，并且每隔10秒会检查Broker是否存活，如果检测到Broker超过120秒未发送心跳，则从路由注册表中将该Broker移除。
RocketMQ系统性学习-RocketMQ原理分析之源码启动、Broker启动流程分析
qq_45260619的博客
12-18 1016
先创建 BrokerController 控制器，BrokerController 控制器对象包含了各种 Config 配置对象以及 Manager 管理对象。创建完 BrokerController 控制器之后，还会判断是否创建成功，以及注册钩子。：创建完 BrokerController 后，启动 BrokerController。注册 JVM 进程关闭的钩子，在进程关闭时，回收一些资源。Broker 启动的入口为 broker 模块的。判断是否创建成功，如果创建失败，就尝试关闭。
RocketMQ 5.0 本地源码启动Cluster模式指南
念念不忘，必有回响
02-13 1376
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
【六】RocketMQ源码之-NameServer启动流程
程序猿
03-09 273
源码讲解,RocketMQ源码之-NameServer启动流程
RocketMQ延时消息源码
06-10
RocketMQ的延时消息实现是基于timerWheel的算法，主要包括以下几个步骤： 1. 发送延时消息时，将消息的过期时间与当前时间进行比较，如果过期时间比当前时间早，则直接丢弃消息。 2. 如果消息没有过期，则计算该消息应该被放置在timerWheel的哪个槽中，这个槽的位置是通过将消息的过期时间与timerWheel的时间轮进行计算得出的。 3. 将消息放置在相应的槽中，如果该槽中已经存在消息，则将新的消息插入到该槽中的链表的尾部。 4. 启动一个后台线程，定时遍历timerWheel，查找到期的消息，并将这些消息发送到对应的消费者。 以下是RocketMQ的延时消息源码实现： 1. 发送延时消息时，将消息的过期时间与当前时间进行比较，如果过期时间比当前时间早，则直接丢弃消息。 ``` public SendResult send(Message msg, long timeout) throws MQClientException, RemotingException, MQBrokerException, InterruptedException { long maxTimeout = System.currentTimeMillis() + timeout; if (msg.getDelayTimeLevel() > 0) { long delayTime = calculateDelayTime(msg.getDelayTimeLevel()); if ((msg.getBornTimestamp() + delayTime) < maxTimeout) { msg.setDelayTimeLevel(0); } } //...省略其他代码 } ``` 2. 如果消息没有过期，则计算该消息应该被放置在timerWheel的哪个槽中，这个槽的位置是通过将消息的过期时间与timerWheel的时间轮进行计算得出的。 ``` private static long calculateDelayTimeLevel(long delayTime) { for (int i = 0; i < DELAY_LEVEL.length; i++) { if (delayTime < DELAY_LEVEL[i]) { return i; } } return DELAY_LEVEL.length - 1; } private static long calculateDelayTime(long level) { return DELAY_LEVEL[(int) Math.min(level, DELAY_LEVEL.length - 1)]; } private long computeDeliverTimestamp(final long startDeliverTime, final long delayTimeLevel) { long offset = DELAY_LEVEL[(int) delayTimeLevel]; return startDeliverTime + offset; } ``` 3. 将消息放置在相应的槽中，如果该槽中已经存在消息，则将新的消息插入到该槽中的链表的尾部。 ``` public void scheduleMessage(MessageExt msg) { long now = System.currentTimeMillis(); long deliverTimestamp = msg.getStoreTimestamp() + msg.getDelayTimeLevel(); long delay = deliverTimestamp - now; if (delay < 0) { delay = 0; } if (delay > config.getMaxDelayTime()) { delay = config.getMaxDelayTime(); } int index = (int) (delay / config.getTickTime()); long expireTime = deliverTimestamp - (deliverTimestamp % config.getTickTime()); try { lock.writeLock().lockInterruptibly(); TimerTaskList taskList = timerWheel[index]; if (taskList == null) { taskList = new TimerTaskList(expireTime); timerWheel[index] = taskList; } taskList.add(msg); } catch (InterruptedException e) { log.error("scheduleMessage error, ", e); } finally { lock.writeLock().unlock(); } } ``` 4. 启动一个后台线程，定时遍历timerWheel，查找到期的消息，并将这些消息发送到对应的消费者。 ``` private class TimerTask implements Runnable { private int index; private long currentTime; public TimerTask(int index, long currentTime) { this.index = index; this.currentTime = currentTime; } @Override public void run() { try { lock.writeLock().lockInterruptibly(); TimerTaskList taskList = timerWheel[index]; if (taskList != null) { List<MessageExt> messages = taskList.remove(currentTime); if (messages != null && !messages.isEmpty()) { putMessagesInQueue(messages); } } } catch (InterruptedException e) { log.error("TimerTask error, ", e); } finally { lock.writeLock().unlock(); } } } private class TimerThread implements Runnable { private volatile boolean stop = false; @Override public void run() { long lastExpireTime = 0; while (!stop) { long currentTime = System.currentTimeMillis(); if (currentTime > lastExpireTime) { for (int i = 0; i < config.getWheelSize(); i++) { long expireTime = lastExpireTime + (i + 1) * config.getTickTime(); if (expireTime <= currentTime) { executor.execute(new TimerTask(i, expireTime)); } } lastExpireTime = currentTime; } else { try { Thread.sleep(1); } catch (InterruptedException e) { log.error("TimerThread error, ", e); } } } } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值