CentOS7部署RocketMQ集群

已于 2024-02-23 11:21:30 修改
阅读量1.2k 收藏 10
点赞数 49
分类专栏： Linux RocketMQ 文章标签： java-rocketmq rocketmq linux
于 2024-02-22 21:57:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45818069/article/details/136243804
版权

文章目录

单机部署RocketMQ

新建CentOS7.9虚拟机

设置主机名为worker1

hostnamectl set-hostname worker1
hostname                          #查看主机名

配置IP

ifconfig eth0 #查看IP
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.8.181/24 ipv4.gateway 192.168.8.254 ipv4.dns 8.8.8.8 connection.autoconnect yes

编辑host文件

vim /etc/hosts

编辑内容如下

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.8.181 worker1
192.168.8.182 worker2
192.168.8.183 worker3
安装JDK

创建app文件夹，再创建jdk文件夹，将jdk包上传到/app/jdk目录下后解压

mkdir -p /app/jdk
cd /app/jdk
tar -zxvf jdk-8u171-linux-x64.tar.gz

配置jdk环境变量

vim /etc/profile

文件末尾添加如下内容

在这里插入图片描述

环境变量生效，显示jdk版本

source /etc/profile
java -version
安装RocketMQ

RocketMQ下载地址

NameServer服务搭建

在app目录下创建rocketMQ，将RocketMQ包上传到/app/rocketMQ目录后解压

mkdir -p /app/rocketMQ
cd /app/rocketMQ
unzip rocketmq-all-5.1.0-bin-release.zip

配置RocketMQ环境变量

vim /etc/profile

文件末尾添加如下内容

在这里插入图片描述
环境变量生效

source /etc/profile

修改NameServer启动配置

cd /app/rocketMQ/rocketmq-all-5.1.0-bin-release/bin
vim runserver.sh
将JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"改为JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m

在这里插入图片描述

启动NameServer，查看是否启动成功

nohup ./mqnamesrv & #启动
tail -f nohup.out   #查看日志
jps

在这里插入图片描述

Broker服务搭建

修改broker启动脚本配置

vim runbroker.sh
将JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g"改为JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m"

在这里插入图片描述

修改broker配置文件，文件末添加如下内容

cd ../conf/
vim broker.conf
#允许自动创建topic
autoCreateTopicEnable=true
#添加nameserver地址
namesrvAddr=localhost:9876

在这里插入图片描述

启动broker

cd ../bin
nohup ./mqbroker -c ../conf/broker.conf &  #启动broker
tail -f nohup.out                          #查看日志

在这里插入图片描述

RocketMQ消息发送与消费

在bin目录下执行以下命令测试消息发送

cd /app/rocketMQ/rocketmq-all-5.1.0-bin-release/bin
export NAMESRV_ADDR='localhost:9876'
./tools.sh org.apache.rocketmq.example.quickstart.Producer

执行以下命令测试消息接收

export NAMESRV_ADDR='localhost:9876'
./tools.sh org.apache.rocketmq.example.quickstart.Consumer
关闭RocketMQ服务

在bin目录下执行以下脚本关闭服务

关闭broker

sh ./mqshutdown broker

关闭NameServer

sh ./mqshutdown namesrv

部署RocketMQ集群

通过已经配置好的虚拟机克隆出另外两台机器

系统配置

worker2设置主机名配置IP

hostnamectl set-hostname worker2
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.8.182/24 ipv4.gateway 192.168.8.254 ipv4.dns 8.8.8.8 connection.autoconnect yes

worker3设置主机名配置IP

hostnamectl set-hostname worker3
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.8.183/24 ipv4.gateway 192.168.8.254 ipv4.dns 8.8.8.8 connection.autoconnect yes

三台虚拟机全部生成秘钥，并发送给其他机器，实现SSH免密登录

ssh-keygen
ssh-copy-id worker1
ssh-copy-id worker2
ssh-copy-id worker3

关闭防火墙

firewall-cmd --state        #检查防火墙状态
systemctl stop firewalld    #停止防火墙
systemctl disable firewalld #禁用防火墙

配置RocketMQ主从集群

使用conf/2m-2s-async下的配置文件搭建一个2主2从异步刷盘的集群。设计的集群情况如下:

机器名NameServer节点部署Broker节点部署
worker1nameserver
worker2nameserverbroker-a,broker-b-s
worker3nameserverbroker-b,broker-a-s

在worker2中进入conf/2m-2s-async下，vim broker-a.properties，内容如下

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketMQ/store
#commitLog存储路径
storePathCommitLog=/app/rocketMQ/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketMQ/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/rocketMQ/store/checkpoint
#abort文件存储路径
abortFile=/app/rocketMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#开启sql过滤
enablePropertyFilter=true
#重试支持过滤
filterSupportRetry=true

在worker2中进入conf/2m-2s-async下，vim broker-b-s.properties，内容如下

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketMQ/storeSlave
#commitLog存储路径
storePathCommitLog=/app/rocketMQ/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketMQ/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketMQ/storeSlave/index
#checkpoint文件存储路径
storeCheckpoint=/app/rocketMQ/storeSlave/checkpoint
#abort文件存储路径
abortFile=/app/rocketMQ/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#开启sql过滤
enablePropertyFilter=true
#重试支持过滤
filterSupportRetry=true

在worker3中进入conf/2m-2s-async下，vim broker-b.properties，内容如下

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketMQ/store
#commitLog存储路径
storePathCommitLog=/app/rocketMQ/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketMQ/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/rocketMQ/store/checkpoint
#abort文件存储路径
abortFile=/app/rocketMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC MASTER异步复制Master
#-SYNC MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#开启sql过滤
enablePropertyFilter=true
#重试支持过滤
filterSupportRetry=true

在worker3中进入conf/2m-2s-async下，vim broker-a-s.properties，内容如下

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketMQ/storeSlave
#commitLog存储路径
storePathCommitLog=/app/rocketMQ/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketMQ/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketMQ/storeSlave/index
#checkpoint文件存储路径
storeCheckpoint=/app/rocketMQ/storeSlave/checkpoint
#abort文件存储路径
abortFile=/app/rocketMQ/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC FLUSH异步刷盘
#-SYNC FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#开启sql过滤
enablePropertyFilter=true
#重试支持过滤
filterSupportRetry=true
启动集群

启动worker1、worker2、worker3的NameServer

cd /app/rocketMQ/rocketmq-all-5.1.0-bin-release/bin
nohup ./mqnamesrv &

worker2上启动broker-a节点与broker-b-s节点

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &
tail -f nohup.out
tail -f ~/logs/rocketmqlogs/namesrv.log

worker3上启动broker-b节点与broker-a-s节点

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &
tail -f nohup.out
tail -f ~/logs/rocketmqlogs/namesrv.log

测试消息收发

worker2发送消息

./tools.sh org.apache.rocketmq.example.quickstart.Producer

worker3接收消息

./tools.sh org.apache.rocketmq.example.quickstart.Consumer
安装rocketmq-dashboard

在worker1安装maven

mkdir -p /app/maven
cd /app/maven
tar -zxvf jdk-8u171-linux-x64.tar.gz
mkdir repository

配置环境变量，在文件末尾添加如下内容

vim /etc/profile
source /etc/profile
mnv -v

在这里插入图片描述

修改maven仓库配置

cd /app/maven/apache-maven-3.9.1/conf
vim settings.xml

编辑内容如下

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.2.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.2.0 http://maven.apache.org/xsd/settings-1.2.0.xsd">
	<localRepository>/app/maven/repository</localRepository>
	</servers>
	<mirrors>
		<mirror>
			<id>alimaven</id>
			<name>ali maven</name>
			<mirrorOf>*</mirrorOf>
			<url>https://maven.aliyun.com/repository/public/</url>
		</mirror>
	</mirrors>
</settings>

安装dashboard

mkdir -p /app/dashboard
cd /app/dashboard
unzip rocketmg-dashboard-rocketmg-dashboard-1.0.0.zip

编译dashboard

cd /app/dashboard/rocketmq-dashboard-rocketmq-dashboard-1.0.0
mvn clean package -Dmaven.test.skip=true
#打包失败可以使用以下命令，清除编译结果，重新打包。(编译成功无需使用)
mvn clean install -U -Dmaven.test.skip=true

启动dashboard

#进入到target目录
cd target/
nohup java -jar rocketmg-dashboard-1.0.0.jar &
tail -f nohup.out

启动成功后访问http://192.168.8.181:8080/#/ 到dashboard界面
RocketMQ集群部署完成

E2S
关注
  • 49
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
安装RocketMQ及配置测试
阿里Darker
06-19 6809
安装 wget https://github.com/alibaba/RocketMQ/releases/download/v3.2.6/alibaba-rocketmq-3.2.6.tar.gz tar alibaba-rocketmq-3.2.6.tar.gz cd  alibaba-rocketmq 启动 nohup sh mqnamesrv -n 10.105.23.11
centos7部署mysql集群1
08-08
Centos7_1611_64bit安装mysql集群方案：1+2+2（3台服务器）环境清理及准备（在各节点服务器上都要执行）清除MySQL旧版本,首先使用如下
centos7部署redis3.2.6集群
07-23
在centos7上部署redis3.2.6版本集群的流程，及排错思路
centos7搭建mysql集群
05-15
centos7搭建mysql集群，包含整个搭建步骤，部分错误解决方案
RocketMQ简介+CentOS7部署RocketMQ4.5.2+javademo编写(附资源下载地址）
youngwxy的博客
08-30 2510
二进制版本rocketmq-all-4.5.2-bin-release下载地址https://download.csdn.net/download/youngwxy/11644587 编译好的rocketmq-console-ng-1.0.0.jar下载地址https://download.csdn.net/download/youngwxy/11644599 idea javademo...
Centos7 部署 RocketMQ 高可用集群
专注基础架构领域
12-02 1255
Centos7 部署 RocketMQ 高可用集群。将原来的配置内容全部注释掉（之后的properties配置文件都得这样）发送成功后我们可以到控制台查看消息和消费情况等信息。10.0.61.12上操作。10.0.61.21上操作。10.0.61.21上操作。10.0.61.22上操作。10.0.61.22上操作。10.0.61.21上操作。10.0.61.21上操作。
rocketmq集群（一），基于centos7搭建rocketmq集群-2m-2s-async
he_xin2009的专栏
04-28 1781
rocketMq两主两从(2m-2s-async) 多主多从（）异步刷盘集群
centos7安装RocketMQ教程
qq_59536202的博客
10-25 4979
RocketMQ安装以及问题解决
CentOS 部署rocketmq集群
weixin_46106069的博客
03-09 531
rocketmq是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。能够保证严格的消息顺序，提供丰富的消息拉取模式，高效的订阅者水平扩展能力，实时的消息订阅机制。
centos7 安装rocketmq
秋叶清风的博客
04-13 152
参考。
CentOS7部署RocketMQ集群相关安装包
最新发布
02-22
CentOS7部署RocketMQ集群相关安装包
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
centos7安装rocketmq安装与启动
愿你的微笑化成风的专栏
09-01 429
介绍rocketmq的安装部署，介绍rocketmq管理界面的安装
CentOS7部署RocketMQ
MrDarren的博客
05-25 774
文章目录准备部署流程安装配置 CentOS7初始化服务器开发环境——根据个人习惯而定 准备 RocketMQ的zip包(本文准备的版本是rocketmq-all-4.4.0-bin-release.zip) 通过xftp上传到/opt/software下 部署流程 安装配置 解压 unzip rocketmq-all-4.4.0-bin-release.zip -d /opt/modules 默认文件夹名字太长，修改名字 mv rocketmq-all-4.4.0-bin-release roc
centos7搭建RocketMq
vivi_nini的博客
12-23 381
1、centos7搭建RocketMq 1、下载rocketMq 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/ 2、rocketMq加入环境变量 执行： vi /etc/profile export ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.8.0-bin-release export PATH=$ROCKETMQ_HOME/bin:$PATH 执行刷新命令： sour
Centos7快速安装RocketMQ
u011197085的博客
06-24 1498
请注意，这些步骤没有涵盖所有的安全措施，例如防火墙设置，或者在生产环境中需要的其他设置。在生产环境中部署RocketMQ时，你应该遵循RocketMQ的官方文档，并根据你的环境进行适当的调整。在实际运行中，你可能需要根据实际情况对RocketMQ进行一些配置，例如设置JVM参数，或者调整broker的配置。在RocketMQ目录下，你可以找到bin目录，里面有我们需要的启动脚本。安装并运行RocketMQ需要安装JDK，所以首先我们需要在CentOS 7上安装JDK。步骤2：安装RocketMQ。
RocketMQ单机部署(Centos7 64位)
天羽云龙的博客
02-22 781
RocketMQ单机部署(Centos7 64位)
centos7安装rocketmq5.1及开机启动
zdy_software的博客
06-06 1683
centos 7, rocketmq 5.1.1 的配置,精简版
centos7部署redis集群
07-28
要在CentOS 7上部署Redis集群，可以按照以下步骤进行操作： 1. 在所有节点上安装Redis：使用以下命令在每个节点上安装Redis： ``` sudo yum install epel-release sudo yum install redis ``` 2. 配置主节点：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

E2S

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值