RocketMQ集群搭建

已于 2024-03-08 17:12:23 修改
阅读量799 收藏 7
点赞数 3
分类专栏： 运维 文章标签： kafka java 分布式
于 2022-06-05 00:12:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38686689/article/details/125127200
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

一、前言

一个完整的RocketMQ集群中，有如下几个角色：

  • Producer：消息的发送者。举例：发信者
  • Consumer：消息接收者。举例：收信者
  • Broker：暂存和传输消息。举例：邮局
  • NameServer：管理Broker；举例：各个邮局的管理机构
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；
    一个消息的接收者可以订阅一个或者多个Topic消息。
  • Message Queue：相当于是Topic的分区，用于并行发送和接收消息。

二、RocketMQ集群搭建

1.实验环境

1.1 准备三台虚拟机，硬盘空间建议大于4G。配置机器名。

# vi /etc/hosts 
192.168.242.129 worker1 
192.168.242.128 worker2 
192.168.242.130 worker3

# 关闭防火墙
systemctl stop firewalld.service
firewall-cmd --state

RocketMQ包：rocketmq-all-4.9.3-bin-release.zip
1.2 配置RocketMq环境变量:

vi ~/.bash_profile

Alt

2.为了更方便理解，以下图为准：

在这里插入图片描述

2.1 配置第一组broker-a

在worker2上先配置borker-a的master节点。先配置2m-2s-async/brokera.properties

 #所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster

#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a

#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=0

#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true

#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

#Broker对外服务的监听端口
listenPort=10911

#删除文件时间点，默认凌晨4点
deleteWhen=04

#文件保留时间，默认48小时
fileReservedTime=120

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径
storePathRootDir=/app/rocketmq/store

#commitLog存储路径
storePathCommitLog=/app/rocketmq/store/commitlog

#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue

#消息索引存储路径
storePathIndex=/app/rocketmq/store/index

#checkpoint文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint

#abort文件存储路径
abortFile=/app/rocketmq/store/abort

#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#-ASYNC_FLUSH 异步刷盘
#-SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

worker3上。修改2m-2s-async/broker-a-s.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster

#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=1

#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true

#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

#Broker对外服务的监听端口
listenPort=11011

#删除文件时间点，默认凌晨4点
deleteWhen=04

#文件保留时间，默认48小时
fileReservedTime=120

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径
storePathRootDir=/app/rocketmq/storeSlave

#commitLog存储路径
storePathCommitLog=/app/rocketmq/storeSlave/commitlog

#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue

#消息索引存储路径
storePathIndex=/app/rocketmq/storeSlave/index

#checkpoint文件存储路径
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint

#abort文件存储路径
abortFile=/app/rocketmq/storeSlave/abort

#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC_MASTER 异步复制 Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE

#刷盘方式
#-ASYNC_FLUSH 异步刷盘
#-SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false

#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2.2 配置第二组Broker-b

在worker3上，所以需要配置worker3上的config/2m-2sasync/broker-b.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster

#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b

#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=0

#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true

#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

#Broker对外服务的监听端口
listenPort=10911

#删除文件时间点，默认凌晨4点
deleteWhen=04

#文件保留时间，默认48小时
fileReservedTime=120

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径store
PathRootDir=/app/rocketmq/store

#commitLog存储路径
storePathCommitLog=/app/rocketmq/store/commitlog

#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue

#消息索引存储路径
storePathIndex=/app/rocketmq/store/index

#checkpoint文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint

#abort文件存储路径
abortFile=/app/rocketmq/store/abort

#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC_MASTER 异步复制 Master
#-SYNC_MASTER 同步双写 Master
#-SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#-ASYNC_FLUSH 异步刷盘
#-SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false

#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

在worker2上，修改work2上的 conf/2m-2s-async/broker-bs.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster

#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示Slave
brokerId=1

#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true

#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

#Broker对外服务的监听端口
listenPort=11011

#删除文件时间点，默认凌晨4点
deleteWhen=04

#文件保留时间，默认48小时
fileReservedTime=120

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径
storePathRootDir=/app/rocketmq/storeSlave

#commitLog存储路径
storePathCommitLog=/app/rocketmq/storeSlave/commitlog

#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue

#消息索引存储路径
storePathIndex=/app/rocketmq/storeSlave/index

#checkpoint文件存储路径
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint

#abort文件存储路径
abortFile=/app/rocketmq/storeSlave/abort

#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker的角色
#-ASYNC_MASTER 异步复制 Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE

#刷盘方式
#-ASYNC_FLUSH 异步刷盘
#-SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false

#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

这样2主2从的集群配置基本就完成了。搭建过程中需要注意的配置项：

1、同一机器上两个实例的store目录不能相同，否则会报错 Lock failed,MQalready started
2、同一机器上两个实例的listenPort也不能相同。否则会报端口占用的错nameserver不需要进行配置，直接启动就行。
这也看出nameserver是无状态的。
3、如果是多网卡的机器，比如云服务器，那么需要在broker.conf中增加brokerIP1属性，指定所在机器的外网网卡地址。

3. 启动RocketMQ

  1. 先启动nameServer
    修改三个节点上的bin/runserver.sh，调整里面的jvm内存配置。找到下面这一行调
    整下内存
 JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m - XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  1. 直接在三个节点上启动nameServer。
 nohup bin/mqnamesrv &
  1. 再启动broker:

在worker2上启动broker-a的master节点和broker-b的slave节点

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

在work3上启动broker-b的master节点和broker-a的slave节点

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &

4.测试mqadmin管理工具

./mqadmin clusterList

在这里插入图片描述

5.命令行快速验证

发送消息：默认会发1000条消息

tools.sh org.apache.rocketmq.example.quickstart.Producer

在这里插入图片描述

接收消息：

tools.sh org.apache.rocketmq.example.quickstart.Consumer

在这里插入图片描述

6.注意事项

1.注意，这是官方提供的Demo，但是官方的源码中，这两个类都是没有指定nameServer的，所以运行会有点问题。
  要指定NameServer地址，可以配置一个环境变量NAMESRV_ADDR，这样默认会读取这个NameServer地址。
  可以配到.bash_profile里或者直接临时指定。
2.存储路径 storeCheckpoint ，abortFile 不需要创建文件夹，会自动创建checkpoint 文件 和 abort 文件，
  但是需要创建 commitlog ,consumequeue,index 文件夹, 这点需要特别注意。

总结

坚持就是胜利，如果遇到问题尝试自己解决它，你会发现比问别人更有价值。

PiKr.此去经年
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2942
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
快速学习-RocketMQ运维管理
逍遥云恋
09-20 513
运维管理 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 1）启动 NameServer ### 首先启动Name Server $ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功 $ tail -f ~/logs/rocketmqlogs/namesrv.log The Name Server boot success... 2）启动 B
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2400
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
RocketMQ 集群搭建
涛涛之海
09-12 742
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
Rocketmq的集群搭建
wssc63262的博客
07-27 1825
居于RocketMQ4.9.4搭建集群
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1272
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
rocketmq集群搭建所需文件
02-10
rocketmq集群搭建所需文件，不要积分即可下载，下载后还请动下小手点个关注，支持一下作者，集群搭建详细步骤见https://blog.csdn.net/qq_40756113/article/details/122865394
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建 RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ ...
rocketmq集群搭建步骤
03-04
rocketmq集群搭建步骤，具体的详细的各个步骤详细过程哈，谢谢
RocketMq集群搭建3——启动
01-07
cd /opt/rocketmq-all-4.3.0-bin-release # nohup sh bin/mqnamesrv & #启动每个服务器的nameserver # tail -f nohup.out The Name Server boot success　#输出此类信息，说明启动成功 启动broker 服务器Namserver1...
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
rocketmq集群搭建
最新发布
qq_41196211的博客
03-27 734
是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。
1-RocketMq
Link的博客
12-22 164
简介 基于java开发，高可用 应用场景 1、应用解耦 2、流量销峰 3、异步处理 4、消息分发(邮件、短信、日志、数据处理) 延时队列场景：需要延时单次延迟执行的场景，比如订单取消 常见问题 1、如何保证高可用 集群部署 2、如何保证消息不丢失(消息的可靠性传输) 生产者丢失数据 开启生产者确认模式，确认发送成功了才对消费者可见 消息队列丢失数据 开启消息持久化，设置好刷盘策略...
RocketMQ双主双从集群搭建
YHJ
05-23 1918
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值