linux系统下RocketMQ的集群搭建

最新推荐文章于 2024-06-15 15:51:13 发布
最新推荐文章于 2024-06-15 15:51:13 发布
阅读量472 收藏
点赞数
文章标签： linux java 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WEN_BK/article/details/121115087
版权

前提已配置java环境

# java -version
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)

部署的模式为：2m-2s-async　两主两从－异步同步
节点1：192.168.245.128【a master】【 b slave】
节点2：192.168.245.129【b master】【 a slave】

1.下载mq的bin包，并上传到两个不同的linux服务器上。
下载链接：http://rocketmq.apache.org/release_notes/release-notes-4.3.2/

2.解压后移动到/app/rocketmq目录下。

mv rocketmq-all-4.3.2-bin-release /app/rocketmq

3.创建需要的目录。

节点1【master】执行：

mkdir -p /app/rocketmq/store/broker-a /app/rocketmq/store/broker-a/nsumequeue /app/rocketmq/store/broker-a/commitlog /app/rocketmq/store/broker-a/index /app/rocketmq/logs /app/rocketmq/store/broker-b-s /app/rocketmq/store/broker-b-s/nsumequeue /app/rocketmq/store/broker-b-s/commitlog /app/rocketmq/store/broker-b-s/index
mkdir /app/rocketmq/store/checkpoint
mkdir /app/rocketmq/store/abort

节点2【slave】执行：

mkdir -p /app/rocketmq/store/broker-a-s /app/rocketmq/store/broker-a-s/nsumequeue /app/rocketmq/store/broker-a-s/commitlog /app/rocketmq/store/broker-a-s/index /app/rocketmq/logs /app/rocketmq/store/broker-b /app/rocketmq/store/broker-b/nsumequeue /app/rocketmq/store/broker-b/commitlog /app/rocketmq/store/broker-b/index
mkdir /app/rocketmq/store/checkpoint
mkdir /app/rocketmq/store/abort

4.启动nameserver服务器。

nameserver没有需要修改的配置文件，默认端口为9876，且nameserver服务器互相之间是不通信的。节点1，2分别执行如下命令：

nohup sh /app/rocketmq/bin/mqnamesrv >/app/rocketmq/logs/mqnamesrv.log 2>&1 &

jps显示NamesrvStartup已启动如下：

# jps -l
13361 sun.tools.jps.Jps
13349 org.apache.rocketmq.namesrv.NamesrvStartup

5.修改两个节点的配置文件，位于/app/rocketmq/conf/2m-2s-async目录，目的是为了启动broker服务。

节点1【a master】【b slave】如下：

vim broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.245.128:9876;192.168.245.129:9876
brokerIP1=192.168.245.128
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

vim broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
brokerName=broker-b
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-b,他的slave也叫broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.245.128:9876;192.168.245.129:9876
brokerIP1=192.168.245.128
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10920
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

节点2【b master】【a slave】

vim broker-b.properties #基本和节点1的相同除了ip和brokerId

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.245.128:9876;192.168.245.129:9876
brokerIP1=192.168.245.129
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store/broker-b
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/broker-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/broker-b/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/broker-b/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

vim broker-a-s.properties #基本和节点1的相同除了ip和brokerId

brokerClusterName=rocketmq-cluster
brokerName=broker-a
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.245.128:9876;192.168.245.129:9876
brokeIP1=192.168.245.129
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10920
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store/broker-a-s
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/broker-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/broker-a-s/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/broker-a-s/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128 under the License.

6.启动broker服务。

启动时可能会出现内存不足的错误，如下，因为mq默认分配的很大：

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005c0000000, 8589934592, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 8589934592 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/rocketmq/conf/2m-2s-async/hs_err_pid28713.log

调小内存，即可解决：

如果单台启动了多个broker，先关闭
# ./bin/mqshutdown broker
# vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"

节点1，启动broker-a：

nohup sh /app/rocketmq/bin/mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-a.properties > /app/rocketmq/logs/broker-a.log 2>&1 &

节点1，启动broker-b-s：

nohup sh /app/rocketmq/bin/mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-b-s.properties > /app/rocketmq/logs/broker-b-s.log 2>&1 &

节点2，启动broker-b：

nohup sh /app/rocketmq/bin/mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-b.properties > /app/rocketmq/logs/broker-b.log 2>&1 &

节点2，启动broker-a-s：

nohup sh /app/rocketmq/bin/mqbroker -c /app/rocketmq/conf/2m-2s-async/broker-a-s.properties > /app/rocketmq/logs/broker-a-s.log 2>&1 &

7.查看集群列表。

sh /app/rocketmq/bin/mqadmin clusterList -n 192.168.245.128:9876

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
rocketmq-cluster  broker-a                0     192.168.245.128:10911  V4_3_2                   0.00(0,0ms)         0.00(0,0ms)          0 454419.02 0.0526
rocketmq-cluster  broker-a                1     192.168.245.129:10920  V4_3_2                   0.00(0,0ms)         0.00(0,0ms)          0 454419.02 0.0721
rocketmq-cluster  broker-b                0     192.168.245.129:10911  V4_3_2                   0.00(0,0ms)         0.00(0,0ms)          0 454419.02 0.0721
rocketmq-cluster  broker-b                1     192.168.245.128:10920  V4_3_2                   0.00(0,0ms)         0.00(0,0ms)          0 454419.02 0.0526

总结：网上的有关文章很多，但还是自己亲手搭建一下，才能发现问题，更深刻的理解，最好是先了解了ＲＭＱ的架构，才能轻车熟路部署。

参考：https://blog.csdn.net/weixin_40533111/article/details/84451219

时倾 | 职业人生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Linux部署RocketMQ集群
zshaowoo的博客
11-30 774
Linux部署RocketMQ集群 1. Linux启动RocketMQ 进入rocketmq环境变量的路径：bin目录 cd /usr/local/rocketmq-all-4.3.2/distribution/target/apache-rocketmq/bin 在bin目录下启动Name Server nohup sh mqnamesrv 在bin目录下启动Broker no...
RocketMq 集群搭建 部署 (2m-2s-async)(二)
热门推荐
weixin_40533111的博客
11-26 1万+
前言 本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部署A-s和B-m 目录 1.准备环境 2.开始搭建 正文 1.准备环境 1.linux服务器2台(centos7) 2.maven(3.5以上) 3.jdk(本文使用的1.8(有人说使用系统自带的可能导致一些问题,未测试,此处是手动装的)) 4.工具:使用的xshell+xftp 部署结构图如下: ...
RocketMQ 2m-2s-async搭建
w907645377的博客
02-18 1177
RocketMQ 2m-2s-async搭建 两主两从异步复制搭建
Linux Centos 环境下搭建RocketMq集群（双主双从）
最新发布
gonghua0502的专栏
06-15 755
worker2中配置两个文件：broker-a.properties、broker-b-s.properties。worker3中配置两个文件：broker-b.properties、broker-a-s.properties。启动顺序为：先启动3台服务器的nameserver，再启动worker2和worker3中的broker.worker1 只需要启动nameserver即可。
RocketMQ 4.9.4使用（二）部署运维界面rocketmq-dashboard
q283614346的博客
08-25 1919
部署RockerMQ运维界面rocketmq-dashboard
rocketmq集群（一），基于centos7搭建rocketmq集群-2m-2s-async
he_xin2009的专栏
04-28 1838
rocketMq两主两从(2m-2s-async) 多主多从（）异步刷盘集群
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2431
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
Linux环境下maven编译好的RocketMQ最新版本4.3.0
08-23
总的来说，Linux环境下编译RocketMQ 4.3.0版本，需要熟悉Java开发环境的搭建、Maven的使用，以及理解RocketMQ的基本原理和操作。通过这个过程，你可以深入理解分布式消息中间件的工作机制，为你的项目提供稳定、高效...
宝塔部署RocketMQ+可视化面板
03-25
总的来说，"宝塔部署RocketMQ+可视化面板"是一项涉及到Java环境搭建、消息中间件安装配置、可视化监控实施的工作。通过合理规划和细致操作，可以构建一个高效、稳定的RocketMQ消息服务，为业务系统的扩展和数据处理...
Apache RocketMQ v4.7.1 开发者指南.pdf
01-06
- **集群搭建:** 如何部署单Master、多Master或多Master多Slave模式的集群。 - **mqadmin管理工具:** 使用mqadmin工具进行集群管理和维护。 - **运维常见问题:** 常见故障排查和解决方法。 #### 六、API Reference ...
RocketMQ 4.9.1 性能优化 源码剖析
金甲虫的博客
01-31 1388
RocketMQ 4.9.1 版本针对 Broker 做了一些性能优化，这一批 PR 都挂载 [ISSUE#2883](https://github.com/apache/rocketmq/issues/2883) 下。
rocketmq简单安装及使用
十五月亮十六的博客
07-28 202
二、安装【展示windows安装】 A.安装包下载
Rocketmq之NameServer地址配置及更新
carbuser_xl的博客
09-20 8202
NameServer在整个Rocketmq的模块划分中占据重要的地位，起到类似于注册中心的作用。BrokerServer启动时需要向NameServer注册自身元数据信息以及主题Topic信息，而Producer发送消息到BrokerServer、Consumer从BrokerServer订阅消息，则需要经过NameServer才能确定最终要进行数据通讯的BrokerServer的地址，所以，BrokerServer、Producer、Consumer程序启动均需要配置NameServer的地址。
Docker搭建RocketMQ问题及解决方案
sinat_28434649的博客
02-08 8707
本文为Docker搭建RocketMQ问题及解决方案转载请注明：http://blog.csdn.net/sinat_28434649/article/details/792919881、环境OS:Linux Docker:1.6.2 RocketMQ:4.2搭建参考rocketmq-docker，请下载该工程1.2、构建mqnamesrv镜像下载rocketmq-docker#构架镜像 sh d...
RocketMQ-核心篇(1)-软件安装
TianXinCoord的博客
05-15 912
这里写自定义目录标题RocketMQ系列说明一、RocketMQ下载二、RocketMQ安装三、RocketMQ启动3.1 Linux3.2 Windows四、RocketMQ控制台五、安全配置5.1 公网访问5.2 修改端口 RocketMQ系列说明 本系列主要更新RocketMQ核心基础 & SringBoot整合使用 & 源码分析，所有文章内容均为个人亲测实践，有错误的地方欢迎大家批评指正 参考文章说明：除了官网文档，如果有需要资料书籍的朋友评论留下邮箱有时间给大家发过去 尚
【Rocket MQ简介和多节点部署】
Edward_hjh的博客
03-30 889
RocketMQ是一个开源的分布式消息中间件，最初由阿里巴巴集团开发。它的设计目标是为了在高并发、高吞吐量的场景下，实现可靠的消息传输，并且具有良好的可伸缩性和可扩展性。RocketMQ支持多种消息模式，包括同步、异步、单向和定时消息。同时，RocketMQ还具有、分布式部署等优点，可以在众多领域中广泛应用，比如电商、金融、物流等。RocketMQ目前已经成为了Apache软件基金会下的顶级开源项目之一，并得到了全球广泛的应用和认可。
RocketMQ 极简入门
weixin_42073629的博客
06-03 343
. 概述 在开始搭建 RocketMQ 服务之前，我们先来对它做下简单的了解。 RocketMQ是阿里巴巴在 2012 年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于 2017 年 9 月 25 日成为 Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。 如下是 RocketMQ 产生的原因： 淘宝内部的交易系统使用了淘宝自主研发的 Notify.
RocketMq： Linux环境-单机部署和主从集群部署
喜欢历史的码农
12-05 675
说明：rocketmq需要jdk环境。（1）下载jdk安装包https://www.oracle.com/technetwork/java/javase/archive-139210.html 下载jdk，这边选择的是jdk-8u144-linux-x64.tar.gz（2）下载rocketmq安装包http://rocketmq.apache.org/dowloading/releases/ 下载RocketMQ，这边选择的版本是rocketmq-all-4.7.0-bin-release.zip（1）上
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时倾 | 职业人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值