Linux Centos 环境下搭建RocketMq集群（双主双从）

已于 2024-06-17 14:18:44 修改
阅读量707 收藏 8
点赞数 9
文章标签： linux centos rocketmq
于 2024-06-15 15:51:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gonghua0502/article/details/139703380
版权

1、下载rocketmq的包

下载 | RocketMQ

2、配置环境变量

1、编辑环境变量文件：vim /etc/profile

2、加入如下配置：
#rocketmq 4.9.8
ROCKETMQ_HOME=/home/rocketmq/rocketmq-4.9.8
export PATH=${ROCKETMQ_HOME}/bin:${PATH}

3、刷新配置：source /etc/profile

3、修改相关参数

修改bin目录下的runserver.sh如下：

修改bin目录下的runbroker.sh如下：

4、启动和停止nameserver

1、启动命令
nohup sh /bin/mqnamesrv &

2、查看日志
tail -f ~/logs/rocketmq/namesrv.log

3、停止
./mqshutdown namesrv

5、启动和停止broker

1、启动命令
nohup sh /bin/mqbroker autoCreateTopicEnable=true &

2、查看日志
tail -f ~/logs/rocketmq/broker.log

3、停止
./mqshutdown broker

6、rocketmq集群配置

worker1 只需要启动nameserver即可

worker2中配置两个文件：broker-a.properties、broker-b-s.properties

worker3中配置两个文件：broker-b.properties、broker-a-s.properties

四个配置文件如下：

broker-a.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
brokerIP1=192.168.10.200
brokerIP2=192.168.10.200
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.10.200:9876;192.168.10.201:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-4.9.8/data
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-4.9.8/data/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-4.9.8/data/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-4.9.8/data/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-4.9.8/data/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-4.9.8/data/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

broker-b-s.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
brokerIP1=192.168.10.200
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=100
#nameServer地址，分号分割
namesrvAddr=192.168.10.200:9876;192.168.10.201:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-4.9.8/dataslave
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-4.9.8/dataslave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-4.9.8/dataslave/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-4.9.8/dataslave/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-4.9.8/dataslave/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-4.9.8/dataslave/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

broker-b.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
brokerIP1=192.168.10.201
brokerIP2=192.168.10.201
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.10.200:9876;192.168.10.201:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-4.9.8/data
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-4.9.8/data/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-4.9.8/data/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-4.9.8/data/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-4.9.8/data/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-4.9.8/data/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

broker-a-s.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
brokerIP1=192.168.10.201
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=100
#nameServer地址，分号分割
namesrvAddr=192.168.10.200:9876;192.168.10.201:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-4.9.8/dataslave
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-4.9.8/dataslave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-4.9.8/dataslave/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-4.9.8/dataslave/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-4.9.8/dataslave/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-4.9.8/dataslave/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7、集群启动

启动顺序为：先启动3台服务器的nameserver，再启动worker2和worker3中的broker.

   启动nameserv：

#3台机器分别进入rocketmq安装目录，执行下面的命令：

nohup sh bin/mqnamesrv &

  启动broker：

进入worker2，进入rocketmq的安装目录，执行一下两行，
nohup bin/mqbroker -c conf/broker-a.properties autoCreateTopicEnable=true &
nohup bin/mqbroker -c conf/broker-b-s.properties autoCreateTopicEnable=true &
查看日志：
tail -f ~/logs/rocketmq/broker.log

进入worker3，进入rocketmq的安装目录，执行一下两行，
nohup bin/mqbroker -c conf/broker-b.properties autoCreateTopicEnable=true &
nohup bin/mqbroker -c conf/broker-a-s.properties autoCreateTopicEnable=true &

8、rockermq-console图形化管理界面

下载地址：
拉取rocketmq-console的源代码
github克隆项目到本地：git clone 
https://github.com/apache/rocketmq-externals.git

gitee克隆项目到本地：git clone 
https://gitee.com/zjj19941/rocketmq-externals-master.git

修改启动端口
对rocketmq-console模块进行打包

将打好的jar包上传至对应的服务器
maven打包命令：mvn package -DskipTests

使用nohup对jar包进行后台启动：nohup java -jar rocketmq-console-ng-xxx.jar &

如果没配置地址的话，可以在启动命令那儿加以下配置：
// > /home/soft/rocketmq/rocketmq-console.log 表示将标准输出重定向到指定的日志文件中；
// 2>&1 表示将标准错误输出也重定向到标准输出中；
nohup java -jar rocketmq-console-ng-1.0.0.jar --rocketmq.config.namesrvAddr='ip1:9876;ip2:9876' > /home/soft/rocketmq/rocketmq-console.log 2>&1 &

 浏览器访问localhost:端口，效果如下：

集群信息如下：

右手嘚温暖
关注
  • 9
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
rocketmq 集群部署
linxi7的博客
05-11 3004
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
RocketMQ集群部署方案（DLedger）
weixin_37838106的博客
01-29 4995
RocketMQ集群部署方案（DLedger） 一、基本配置 1、准备三台虚拟机，root密码 root ;IP地址： 192.168.xxx.xxx worker1 192.168.xxx.xxx worker2 192.168.xxx.xxx worker3 并在对应的机器的/etc/hosts文件中设置对应的ip和机器名映射 2、每台机器上创建用户mq并设置密码 useradd mq passwd mq 密码输入：Anji@1024 3、系统配置 1）免密登录，切换mq用户，在worker1
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
最新发布
2401_83974607的博客
05-09 1053
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
从生产故障解锁RocketMQ集群部署的最佳实践
HollisChuang's Blog
03-06 434
1、故障描述RocketMQ 集群采取的部署架构为2主2从，其部署架构如下图所示：其部署架构中一个非常明显的特点是一台物理机上分别部署了 nameserver，broker 两个进程。其中...
Centos6下RocketMQ集群部署记录
shangyuanlang的博客
07-28 803
一、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型，RocketMQ也是这样的设计，简单说来RocketMQ具有以下特点： 1）是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 2）Producer、Consumer、队列都可以分布式。 3）P...
RocketMQ 集群部署
weixin_50395990的博客
04-26 198
RocketMQ 集群部署 系统部署架构，使用的模式是 2m-2s-sync broker 机器信息 Master 1：172.18.24.5 Slave 1：172.18.24.6 Master 2：172.18.24.7 Slave 2：172.18.24.8 namesrv 机器信息（这里复用了 3 台主机做 Name Server。正式生产环境应该要考虑配置单独的 3 台机器做 Name Server） Name Server 1：172.18.24.5 Name Ser...
CentOS7部署RocketMQ集群相关安装包
02-22
CentOS7部署RocketMQ集群相关安装包
Centos7.x下MySQL5.7.30安装以及双主环境搭建指南
09-18
以上就是CentOS 7.x下MySQL 5.7.30的安装和双主环境的搭建步骤。这个过程要求精确执行，因为任何小错误都可能导致复制失败或数据不一致。记得在实际环境中进行备份，以防止意外情况。同时，使用Markdown格式的文档...
CentOS下RabbitMq高可用集群环境搭建教程
01-11
CentOS下RabbitMq高可用集群环境搭建教程分享给大家。 准备工作 1、准备两台或多台安装有rabbitmq-server服务的服务器 我这里准备了两台，分别如下： 192.168.40.130 rabbitmq01 192.168.40.131 rabbitmq02 2、确保...
Linux(Centos7)下redis5集群搭建和使用说明详解
09-09
在Linux(CentOS7)环境下搭建Redis 5集群是一个重要的任务，这有助于提高数据的冗余性和可用性。本文将详细介绍如何在单台服务器上设置一个包含6个节点的伪分布式Redis集群。 首先，让我们了解Redis 5的一个关键变化...
Linux CentOS Python开发环境搭建教程
09-19
主要介绍了Linux CentOS Python开发环境搭建方法，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
Centos6下RocketMQ高可用集群部署记录（个人精华版）
08-29
本篇文章详细记录了Centos6下RocketMQ高可用集群部署的完整过程，讲解到位，本人线上实操手册！在此分享，希望能帮助到有用到的朋友。
RocketMq集群部署
lnws111的博客
03-16 873
RocketMQ 操作系统版本：linux7.6 软件名称：RocketMQ 软件版本：4.8.0 原理： RocketMQ具有以下特点： o 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 o Producer、Consumer、队列都可以分布式。 o Producer向一些队列轮流发送消息，队列集合称为Topic，Consumer如果做广播消费，则一个consumer实例消费这个Topic对应的所有队列，如果做集群消费，则多个Consumer实例平均消费这个topi
RocketMQ集群部署
weixin_43941593的博客
06-09 2423
两台服务器，每台一个nameserver构成集群，broker集群双主双从。主机 容器名称 IP 与宿主机的端口映射两个宿主机上都有docker，并且创建了网桥docker-br0。
rocketmq集群部署
a1035082174的博客
10-15 191
1.解压安装包 tar -xvf rocketmq-all-4.2.0-bin-release.tar 2.将解压文件重新命名： mv rocketmq-all-4.2.0-bin-release rocketmq-4.2.0 3.rocketmq-4.2.0目录下创建一个logs目录用于存放日志文件 mkdir /aifs01/iam/iam_soft/rocketmq-all-4.2.0/logs 创建store文件夹然后在store文件夹下创建目录commitlog、consumeq
RockerMQ集群部署
Java.L的博客
02-24 2206
讲解RockerMQ集群部署
RocketMQ学习四-集群部署
qq_35930102的博客
12-05 1533
1 集群部署理论 1.1 数据复制与刷盘策略 1.1.1 复制策略 复制策略是broker的master与slave间的数据同步方式，分为同步复制和异步复制 同步复制：消息写入master后，master会等slave同步数据成功后才向procedure返回ACK 异步复制：消息写入master后，master会直接向procedure返回ACK，无需等待slave同步完成 1.1.2 刷盘策略 刷盘策略是broker中的消息落盘方式，即消息发送到broker内存后消息持久化到磁盘的方式，分为同步刷盘
centos7环境下搭建minio
07-27
在CentOS7环境下搭建Minio服务器的步骤如下： 1. 首先，下载Minio服务器的安装文件。可以使用wget命令从Minio官网下载安装文件，例如： ``` wget https://dl.min.io/server/minio/release/linux-amd64/minio ``` 2. 创建数据文件夹和日志文件。可以使用mkdir命令创建一个用于存储数据的文件夹，例如： ``` mkdir /home/minio/data ``` 同样地，使用touch命令创建一个用于存储日志的文件，例如： ``` touch /home/minio/log/minio.log ``` 3. 授予Minio服务器的执行权限。可以使用chmod命令赋予minio文件可执行权限，例如： ``` chmod 777 minio ``` 4. 启动Minio服务器。可以使用以下命令在前台启动Minio服务器： ``` ./minio server /home/minio/data ``` 或者，使用以下命令在后台启动Minio服务器，并将日志输出到指定文件： ``` nohup ./minio server /home/minio/data > /home/minio/log/minio.log & ``` 这样，你就成功在CentOS7环境下搭建了Minio服务器。Minio是一款开源的高性能对象存储服务器，适用于存储各种类型的数据，例如手机拍照上传的照片。你可以通过访问Minio服务器的地址来访问和管理存储在其中的数据。 #### 引用[.reference_title] - *1* [Centos7环境下搭建minio步骤详细教程](https://blog.csdn.net/Ye_Xing_/article/details/127736327)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [CentOS7下搭建Minio服务器](https://blog.csdn.net/weixin_43317914/article/details/122394554)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值