rocketmq 集群搭建 rocketmq最新版本集群，rocketmq双主双从异步集群 rocketmq三台机器集群 虚拟机搭建rocketmq5.1.4集群

已于 2023-11-22 17:03:45 修改
阅读量474 收藏 3
点赞数
分类专栏： rocketmq 文章标签： java-rocketmq rocketmq java
于 2023-11-16 11:29:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33919114/article/details/134434633
版权

1. rocketmq 版本：5.1.4

    集群规划：

    介绍：

2. 准备三台虚拟机机器，分配2g内存。（内存够用可以3g。2g用到了1.7g）：三台机器的/etc/hosts修改 worker1. worker2. worker3

    可查看之前文章设置别名的

3. ssh免密登录设置,

   可以查看我之前的文章

#
cd  ~
# 进入ssh文件夹 如果没有。可以ssh 下别的机器，就会生成
cd .ssh

# woker1 设置好之后，就copy到其他机器
# 同理 去设置woker2, worker3

ssh-keygen -t rsa

#copy
ssh-copy-id worker2

# 
ssh-copy-id worker3

4. 在上篇文章中，设置了虚拟机的第一台服务器。将其中的rocketmq 文件发送到其他两台服务器；

5. 文件路径：

 文件路径

  /opt/module/rocketmq-all-5.1.4-bin-release

 # 日志  

 /opt/module/rocketMQ

6. worker2机器 broker-a设置：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#brokerClusterName=DefaultCluster
#brokerName=broker-a
#brokerId=0
#deleteWhen=04
#fileReservedTime=48
#brokerRole=ASYNC_MASTER
#flushDiskType=ASYNC_FLUSH

#所属集群名字，名字一样的节点就在同-个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，白动创建服务器不存在的topic，默认创建的队列数d
defaultTopicQueueNums=4
#是否允许Broker自动创健Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=30000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketMQ/store
#commitLog存储路径
storePathCommitLog=/opt/module/rocketMQ/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketMQ/store/index
#checkpoint文件存储路径
storeCheckpoint=/opt/module/rocketMQ/store/checkpoint
#abort文件存储路径
abortFile=/opt/module/rocketMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

worker2机器的broker-b-s设置:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#brokerClusterName=DefaultCluster
#brokerName=broker-b
#brokerId=1
#deleteWhen=04
#fileReservedTime=48
#brokerRole=SLAVE
#flushDiskType=ASYNC_FLUSH


#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#刚除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketMQ/storeSlave
#commitLog存储路径
storePathCommitLog=/opt/module/rocketMQ/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketMQ/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketMQ/storeSlave/index
#checkpoint文件存储路径
storeCheckpoint=/opt/module/rocketMQ/storeSlave/checkpoint
#abort文件存储路径
abortFile=/opt/module/rocketMQ/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7. worker3机器 broker-a-s.properties：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#brokerClusterName=DefaultCluster
#brokerName=broker-a
#brokerId=1
#deleteWhen=04
#fileReservedTime=48
#brokerRole=SLAVE
#flushDiskType=ASYNC_FLUSH

#所属集群名字，名字··样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,@就表示是Master，>0的都是表示slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，白动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketMQ/storeSlave
#commitLog存储路径
storePathCommitLog=/opt/module/rocketMQ/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketMQ/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketMQ/storeSlave/index
#checkpoint文件存储路径
storeCheckpoint=/opt/module/rocketMQ/storeSlave/checkpoint
#abort文件存储路径
abortFile=/opt/module/rocketMQ/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPooINums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

worker3机器的broker-b参数：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#brokerClusterName=DefaultCluster
#brokerName=broker-b
#brokerId=0
#deleteWhen=04
#fileReservedTime=48
#brokerRole=ASYNC_MASTER
#flushDiskType=ASYNC_FLUSH


#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示
slaveBrokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLoq=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketMQ/store
#commitLog存储路径
storePathCommitLog=/opt/module/rocketMQ/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketMQ/store/index
#checkpoint文件存储路径
storeCheckpoint=/opt/module/rocketMQ/store/checkpoint
#abort文件存储路径
abortFile=/opt/module/rocketMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000#flushConsumeQueueThoroughInterval=6000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双号Master#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

8.启动三台机器的注册中心

# 注意是三台机器的注册中心都需要输入下面这些命令启动。规划是三台机器都有注册中心


# 进入rocketmq的bin目录下
cd /opt/module/rocketmq-all-5.1.4-bin-release/bin
# 给脚本加权
chmod 777 mqnamesrv
# 启动
# 在bin目录下输入的命令
nohup ./mqnamesrv &

# 查看是否启动成功
tail -10f nohup.out

 9. 启动worker2机器broker:

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties  &


 nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties  &

输出：

10.启动worker3机器节点的broker：

 nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties  &


 nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties  &

 11.测试集群， worker2发送消息：


# /bin目录下
./tools.sh org.apache.rocketmq.example.quickstart.Producer

12. 测试集群， worker3接收消息：

./tools.sh org.apache.rocketmq.example.quickstart.Consumer

13. 测试集群b方案： worker3发送：

14.测试集群b方案：worker2接收：

15. 如何关闭broker:

#依次在worker2 ,worker3机器 输入关闭命令
./mqshutdown broker

# jps查看是否已经关闭, 稍微等待会，关闭的有点慢
jps

不努力就种地~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rocketmq集群搭建
Kevin
02-28 350
Rocketmq集群搭建 拓扑 主机名 网卡名 IP 作用 mq-master01 ens33 192.168.162.10 broker-a mq-master02 ens33 192.168.162.11 broker-b mq-slave01 ens33 192.168.162.12 broker-a-s mq-slave02 ens33 192.168.162....
RocketMQ双主双从集群搭建
赶考书生
09-27 240
集群搭建方式 集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ的集群搭建
流浪猫
02-24 409
1、数据复制和刷盘策略 数据复制 复制策略是Broker的Master和Slave之间的数据同步方式，分为同步复制和异步复制 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master会立即向producer返回成功ACK，不会等待slave同步数据成功 刷盘策略 刷盘策略是指消息发送到broker内存后消息持久化到磁盘的方式(也叫做落盘)，分为同步刷盘和异步刷盘 同步刷盘：当消息持.
Rocketmq的集群搭建
wssc63262的博客
07-27 1848
居于RocketMQ4.9.4搭建集群
rocketmq集群搭建
qq_41196211的博客
03-27 996
是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。
rocketmq-all-5.1.4-bin-release.zip
10-21
2. **高可用性**：RocketMQ通过主备切换和分布式集群实现服务的高可用。Producer和Consumer都可以通过负载均衡策略连接到不同的Broker节点，确保即使部分节点故障，服务仍能继续运行。 3. **低延迟**：RocketMQ设计...
可以运行的rocketmq控制台，适用于jdk8+版本
08-02
在站内找的所有的版本，都运行失败了报nested exception is java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException这个错误 这个版本是解决了这个问题之后的可以运行的版本，希望大家喜欢~~~ 有问题...
【RocketMQ windows小白安装教程】
10-30
如果没有，可以从Oracle官网下载并安装最新版本的JDK。 三、 下载RocketMQ 访问RocketMQ的官方网站或GitHub仓库，下载适合Windows系统的RocketMQ发行版。解压到你希望存放的目录，例如`C:\RocketMQ`。 四、 启动...
rocketmq_4.7.1-1_arm64.deb银河麒麟V4+飞腾 deb安装包
10-31
1、rocketmq-4.7.1银河麒麟V4+飞腾 deb安装包 2、内置jdk 1.8 3、目录信息 /opt/rocketmq-4.7.1/ ├── benchmark ├── bin ├── conf ├── jdk ├── lib ├── LICENSE ├── NOTICE └── README.md
Linux环境下搭建WebLogic-..集群服务十步曲.docx编程资料
04-14
### Linux环境下搭建WebLogic集群服务知识点详解 #### 版本说明与概要描述 本文档主要介绍了如何在Linux环境下搭建WebLogic 10.3.6集群服务的详细步骤，适用于那些希望在Linux系统上部署高可用性WebLogic集群的企业...
【RocketMQ】 集群搭建
Bandeo的博客
03-17 230
一、rocketMQ集群架构图（多住多从） producer：消息发送者 consumer：消息消费者 Broker：存储和传输信息 NameServer：管理broker，consumer，producer 主从同步方式 同步(brokerRole=SYNC_MASTER) ...
RocketMQ集群的搭建
Lossdate的博客
07-05 186
一、环境 hosts 192.168.200.136 nodeA 192.168.200.139 nodeB 192.168.200.140 nodeC 192.168.200.141 nodeD 版本 rocketmq : 4.5.1 jdk : 1.8 在nodeA上安装好rocketmq RocketMQ安装 配置免密钥登入cd /root/ ls -a cd .ssh/ ls #生成密钥(四台机子都要) ssh-keygen #生成三个文件id_rsa id_rsa.pub known_hos
RocketMQ 集群搭建
涛涛之海
09-12 775
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1417
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
RocketMq集群搭建
weixin_61157922的博客
08-01 576
准备两个Linux机器。
webpack 5.1.4对应的compression-webpack-plugin版本
12-08
根据提供的引用内容，无法确定webpack 5.1.4对应的compression-webpack-plugin版本。因为引用中提到的是安装webpack 3.6.0的方法，而webpack 5.1.4与webpack 3.6.0版本不同，所需的插件版本也可能不同。建议查阅官方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值