RocketMQ集群搭建

最新推荐文章于 2024-02-28 11:02:43 发布
最新推荐文章于 2024-02-28 11:02:43 发布
阅读量262 收藏
点赞数
分类专栏： RocketMQ 文章标签： rockermq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanyf2016/article/details/103679826
版权

各角色介绍

Producer：消息的发送者，举例：发信者

Consumer：消息的接收者，举例：收信者

Broker：暂存和传输消息，举例：邮局

NameServer：管理Broker，举例：各个邮局的管理机构

Topic：区分消息的种类，一个发送者可以发送消息给一个或多个Topic，一个消息的接收者可以订阅一个或者多个Topic消息

MessageQueue：相当于是Topic的分区，用于并行发送和接收消息

1.集群特点

2.集群模式

3.双主双从集群搭建

3.1总体架构

3.2集群工作流程

3.3 服务器环境

3.4 Host添加信息

vi  /etc/hosts

配置如下： 

#nameserver
192.168.25.135 rocketmq-nameserver1
192.168.25.138 rocketmq-nameserver2
#broker
192.168.25.135 rocketmq-master1
192.168.25.135 rocketmq-slave2
192.168.25.138 rocketmq-master2
192.168.25.138 rocketmq-slave1

配置完成，重启网卡

systemctl restart network

3.5 防火墙设置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

#开放name server默认端口
firewall-cmd --remove-port=9876/tcp  --permanent
#开放master默认端口
firewall-cmd --remove-port=10911/tcp  --permanent
#开放slave默认端口（当前集群模式可不开启）
firewall-cmd --remove-port=11011/tcp  --permanent
#重启防火墙
firewall-cmd  --reload

3.6 环境变量配置

vim /etc/profile

在profile文件末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.5.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

保存退出，

source /etc/profile

3.7创建消息存储路径

mkdir  /usr/local/rocketmq/store
mkdir  /usr/local/rocketmq/store/commitlog
mkdir  /usr/local/rocketmq/store/consumequeue
mkdir  /usr/local/rocketmq/store/index

将上面的配置 在25.135和25.138都设置完成，接下来配置broker文件

3.8broker配置文件

1）master1

服务器：192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。由于是4个broker节点，所以设置为4
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER                       #要配置为MASTER或SLAVE的角色
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2）slave2

服务器：192.168.25.135

vim /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

 配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。由于是4个broker节点，所以设置为4
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE                       #要配置为MASTER或SLAVE的角色
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3）master2

服务器：192.168.25.138

vim /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-b.properties

配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。由于是4个broker节点，所以设置为4
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER                       #要配置为MASTER或SLAVE的角色
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4）slave1

服务器：192.168.25.138

vim /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-a-s.properties

配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。由于是4个broker节点，所以设置为4
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE                       #要配置为MASTER或SLAVE的角色
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3.9修改启动脚本文件

1）runbroker.sh

2)runserver.sh

参考值：

3.10服务启动

1）启动NameServer集群

分别在192.168.25.135和192.168.25.138启动NameServer

nohup sh mqnamesrv &

2)启动Broker集群

在192.168.25.135启动master1和slaver2

master1:

nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-a.properties &

slave2:

nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.25.138启动master2和slave1

master2：

nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-b.properties &

slave1:

nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.5.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

3.11查看进程状态

启动后通过jps查看

3.12查看日志

查看namesever日志

tail -500f ~/logs/rocketmqlogs/namesrv.log

查看broker日志

tail -500f ~/logs/rocketmqlogs/broker.log

 

键盘上的手艺人-cloudFly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ服务中各端口号说明
Taiyii的博客
06-29 1万+
要开放的端口一般有4个：9876，10911，10912，10909作用说明
RocketMQ（一）
Eriksen的博客
10-02 1766
RocketMQ
rocketmq常用端口（需开放端口）
最新发布
k_c123456的博客
02-28 1252
10909：fastRemotingServer使用的监听端口，与remotingServer类似，vipChannelEnabled开启时，消息发送到fastRemotingServer。使用中遇到的场景：10911端口未开发，消费者订阅进行消费时，无消息可消费，查看客户端日志发现getConsumerIdListByGroup exception失败。9876：NameServer通信端口。客户端通过该端口与NameServer通信。rocketmq 常用默认端口：9876、10911、10909。
rocketmq中broker的端口
多看多听多总结
07-19 6581
rocketmq中broker的端口
【RocketMQ每日一问】RocketMQ中都开启了哪些端口，分别是做什么的?
FJJJJJ
01-21 1387
ocketMQ中都开启了哪些端口，分别是做什么的
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
rocketmq集群搭建所需文件
02-10
rocketmq集群搭建所需文件，不要积分即可下载，下载后还请动下小手点个关注，支持一下作者，集群搭建详细步骤见https://blog.csdn.net/qq_40756113/article/details/122865394
rocketmq集群搭建步骤
03-04
rocketmq集群搭建步骤，具体的详细的各个步骤详细过程哈，谢谢
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建.doc
RocketMq集群搭建3——启动
01-07
cd /opt/rocketmq-all-4.3.0-bin-release # nohup sh bin/mqnamesrv & #启动每个服务器的nameserver # tail -f nohup.out The Name Server boot success　#输出此类信息，说明启动成功 启动broker 服务器Namserver1...
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
搭建rocketmq集群遇到的坑点及解决办法
11-03
在搭建rocketmq集群过程中遇到的问题，记录下了，以免后来人浪费时间
RocketMQ 5.0部署你需要开通的端口在这里
念念不忘，必有回响
04-27 2777
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
Centos7 部署 RocketMQ 高可用集群
专注基础架构领域
12-02 1324
Centos7 部署 RocketMQ 高可用集群。将原来的配置内容全部注释掉（之后的properties配置文件都得这样）发送成功后我们可以到控制台查看消息和消费情况等信息。10.0.61.12上操作。10.0.61.21上操作。10.0.61.21上操作。10.0.61.22上操作。10.0.61.22上操作。10.0.61.21上操作。10.0.61.21上操作。
RocketMQ集群配置
u011197085的博客
07-05 1625
请注意，这些是默认的端口，你可以在RocketMQ的配置文件中修改这些端口。同时，如果你运行了多个broker实例或namesrv实例，那么每个实例需要使用不同的端口。在这种情况下，你可以分别为每个Broker实例创建一个配置文件，并在每个文件中指定相应的Namesrv地址、Broker名称和角色（Master或Slave）。例如，如果你使用了不同的配置文件或者命令选项，那么你需要在。在这些命令的输出中，你可以看到启动Namesrv和Broker的命令，以及关联的进程ID。
rocketmq集群搭建
10-17
好的，关于 RocketMQ 集群搭建，一般可以分为以下几个步骤： 1. 下载 RocketMQ 的压缩包，并解压到指定目录。 2. 修改配置文件，包括 namesrv 的配置和 broker 的配置。 3. 启动 namesrv 和 broker。 4. 配置集群...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值