Rocketmq-集群部署(Master-Slave)

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量480 收藏 8
点赞数 3
文章标签： rocketmq 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x_yufei/article/details/140065158
版权
  1. 使用中间件版本:rocketmq-4.5.2
  2. 环境介绍及角色划分
    这里采用俩台机器做集群的搭建，172.0.0.1 以及 172.0.0.2
    服务器172.0.0.1 做为a-master与b-slave。
    服务器172.0.0.2 做为b-master与a-slave。
    角色划分图
  3. 配置讲解图(主要说明区分点)
    配置讲解图
  4. 配置rocketmq环境变量，这里也说明一下需要在部署rocketmq的前一步安装好jdk的环境变量
    vim ~/.bash_profile (俩台机器都需要配置)
export JAVA_HOME=/data/soft/jdk1.8.0_311
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=${JAVA_HOME}/jre

export ROCKETMQ_HOME=/data/soft/rocketmq-4.5.2
export PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$PATH
  1. 创建数据存储目录(用于在接下来的配置文件中进行rocketmq的数据存储，需要在俩台机器上都执行，目录可根据实际情况自定义)，由于同一台机器上既有master又有slave节点所以需要创建不同目录。
mkdir -p /data/soft/dataMQ/stores
mkdir -p /data/soft/dataMQ/stores/commitlogs
mkdir -p /data/soft/dataMQ/stores/consumequeues
mkdir -p /data/soft/dataMQ/stores/indexs
mkdir -p /data/soft/dataMQ/stores/checkpoints
mkdir -p /data/soft/dataMQ/stores/aborts

mkdir -p /data/soft/dataMQ/store
mkdir -p /data/soft/dataMQ/store/commitlogs
mkdir -p /data/soft/dataMQ/store/consumequeues
mkdir -p /data/soft/dataMQ/store/indexs
mkdir -p /data/soft/dataMQ/store/checkpoints
mkdir -p /data/soft/dataMQ/store/aborts
  1. 接下来修改配置文件，首先我们先修改172.0.0.1中的配置文件，共需要修改俩个配置文件分别是
    rocketmq-4.5.2/conf/2m-2s-async/broker-a.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0表示Master >0表示Slave
brokerId=0
#nameserver地址 分号分割 根据/etc/hosts的映射查找IP
namesrvAddr=172.0.0.1:9876;172.0.0.2:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建Topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建队列组，建议线下允许，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间 默认凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的默认大小1G
mapedFileSizeCommitLog=1073741824
#consumeQueue默认存30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#储存路径
storePathRootDir=/data/soft/dataMQ/store
#CommitLog存储路径
storePathCommitLog=/data/soft/dataMQ/store/commitlog
#消费队列储存路径
storePathConsumeQueue=/data/soft/dataMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/bonc/data/dataMQ/store/index
#checkpoint文件存储路径
storeCheckPoint=/data/data/dataMQ/store/checkpoint
#abort文件存储路径
abortFile=/bonc/data/dataMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker的角色 -SYNC_MASTER同步复制Master -ASYNC_MASTER异步复制MASTER
brokerRole=SYNC_MASTER
#刷盘方式 异步和同步
flushDiskType=ASYNC_FLUSH

rocketmq-4.5.2/conf/2m-2s-async/broker-b-s.properties

brokerClusterName=rocketmq-cluster
brokerName=broker-b
brokerId=1
namesrvAddr=172.0.0.1:9876;172.0.0.2:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
deleteWhen=04
fileReservedTime=48
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/soft/dataMQ/stores
storePathCommitLog=/data/soft/dataMQ/stores/commitlogs
storePathConsumeQueue=/data/soft/dataMQ/stores/consumequeues
storePathIndex=/data/soft/dataMQ/stores/indexs
storeCheckPoint=/data/soft/dataMQ/stores/checkpoints
abortFile=/data/soft/dataMQ/stores/aborts
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
  1. 接下来修改配置文件，首先我们先修改172.0.0.2中的配置文件，共需要修改俩个配置文件分别是
    rocketmq-4.5.2/conf/2m-2s-async/broker-b.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0表示Master >0表示Slave
brokerId=0
#nameserver地址 分号分割 根据/etc/hosts的映射查找IP
namesrvAddr=172.0.0.1:9876;172.0.0.2:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建Topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建队列组，建议线下允许，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间 默认凌晨4点
deleteWhen=04
#文件保留时间 默认48小时
fileReservedTime=48
#commitLog每个文件的默认大小1G
mapedFileSizeCommitLog=1073741824
#consumeQueue默认存30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#储存路径
storePathRootDir=/data/soft/dataMQ/store
#CommitLog存储路径
storePathCommitLog=/data/soft/dataMQ/store/commitlog
#消费队列储存路径
storePathConsumeQueue=/data/soft/dataMQ/store/consumequeue
#消息索引存储路径
storePathIndex=/data/soft/dataMQ/store/index
#checkpoint文件存储路径
storeCheckPoint=/data/soft/dataMQ/store/checkpoint
#abort文件存储路径
abortFile=/data/soft/dataMQ/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker的角色 -SYNC_MASTER同步复制Master -ASYNC_MASTER异步复制MASTER
brokerRole=SYNC_MASTER
#刷盘方式 异步和同步
flushDiskType=ASYNC_FLUSH

rocketmq-4.5.2/conf/2m-2s-async/broker-a-s.properties

brokerClusterName=rocketmq-cluster
brokerName=broker-a
brokerId=1
namesrvAddr=172.0.0.1:9876;172.0.0.2:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
deleteWhen=04
fileReservedTime=48
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/soft/dataMQ/stores
storePathCommitLog=/data/soft/dataMQ/stores/commitlogs
storePathConsumeQueue=/data/soft/dataMQ/stores/consumequeues
storePathIndex=/data/soft/dataMQ/stores/indexs
storeCheckPoint=/data/soft/dataMQ/stores/checkpoints
abortFile=/data/soft/dataMQ/stores/aborts
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
  1. 修改启动文件(俩台机器都需要修改)
    rocketmq-4.5.2/bin/runserver.sh
    在这里插入图片描述
    rocketmq-4.5.2/bin/runbroker.sh
    在这里插入图片描述
  2. 按照从上到下的顺序启动rocketmq集群
    启动NamesrvStartup需要在俩台机器上执行
nohup /data/soft/rocketmq-4.5.2/bin/mqnamesrv > /data/soft/rocketmq-4.5.2/logs/mqnamesrv.log 2>&1 &

启动BrokerMaster(A)节点(这里要注意引用的配置文件)

nohup /data/soft/rocketmq-4.5.2/bin/mqbroker -c /data/soft/rocketmq-4.5.2/conf/2m-2s-async/broker-a.properties > /data/soft/rocketmq-4.5.2/logs/broker-a.log 2>&1 &

启动BrokerMaster(B)节点(这里要注意引用的配置文件)

nohup /data/soft/rocketmq-4.5.2/bin/mqbroker -c /data/soft/rocketmq-4.5.2/conf/2m-2s-async/broker-b.properties > /data/soft/rocketmq-4.5.2/logs/broker-b.log 2>&1 &

启动BrokerSlave(A)节点(这里要注意引用的配置文件)

nohup /data/soft/rocketmq-4.5.2/bin/mqbroker -c /data/soft/rocketmq-4.5.2/conf/2m-2s-async/broker-a-s.properties > /data/soft/rocketmq-4.5.2/logs/broker-as.log 2>&1 &

启动BrokerSlave(B)节点(这里要注意引用的配置文件)

nohup /data/soft/rocketmq-4.5.2/bin/mqbroker -c /data/soft/rocketmq-4.5.2/conf/2m-2s-async/broker-b-s.properties > /data/soft/rocketmq-4.5.2/logs/broker-bs.log 2>&1 &
  1. 查看节点启动状态(俩台机器一致)
    在这里插入图片描述
Bohemian—Rhapsody
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
云原生中间件RocketMQ(三)RocketMQ集群（多Master和多Master-Slave方式）部署实操
write less , do more
07-10 6417
RocketMQ为我们提供了丰富的集群架构模型，包括单点模式、主从模式、双主模式以及生产上使用最多的双主双从模式（或者说多主多从模式）。更多细节可以查看我之前的文章：云原生中间件RocketMQ(二)源码包结构和集群架构模型。本文主要讲双主模式和多主多从模式的部署。需要准备两台服务器，172.xxx.xxx.1、172.xxx.xxx.2。 IP NAME 172.xxx.xxx.1 rocketmq-nameserver1 172.xxx.xxx.1 rocketmq-master1
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1078
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
【RocketMQ】RocketMQ 5.0新特性（三）- Controller模式
S-H_A-N
10-23 1197
JDK的动态代理实现原理是在运行中动态生成代理类，这个代理类实现了Subject接口，在对代理类进行实例化的时候，需要传入InvocationHandler，当调用代理类的方法时，会执行InvocationHandler的invoke方法，在invoke方法中再执行真正的目标方法，从而完成代理功能。
RocketMQ集群部署
wangqingjia的博客
06-22 9623
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
rocketmq 集群部署
linxi7的博客
05-11 3065
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
rocketmq集群搭建
qq_41196211的博客
03-27 1003
是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。
rocketMq - master/slave同步
weixin_34228387的博客
03-23 1271
本章主要需要讲清楚两个概念，第一个是slave主动和master同步，第二个是master主动和slave同步。而且我保证这是唯一一篇能够把这两个过程讲清楚的文章，至少在这篇文章之前我找了很多文章，没有一篇文章将整个过程合起来讲解清楚的，说明还是花了时间在里面的。 slave->master同步：主要是...
RocketMQ-RocketMQ集群实践(搭建)
weixin_43874650的博客
12-03 1265
而且更严重的是，如果服务器出现了问题，比如磁盘坏了，那么存储在磁盘上的数据就会丢失。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。​ 为了便于观察，我们这次搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。这种集群存在单点故障。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
rocketmq-all-4.6.0-bin-release.zip
01-15
1. NameServer：这是一个轻量级的注册中心，负责维护 Topic 与 Broker 的映射关系，不存储任何业务数据，高可用性通过集群部署来实现。 2. Broker：Broker 是 RocketMQ 的核心组件，负责接收 Producer 发送的消息，...
最新版 rocketmq-all-4.8.0-bin-release.zip
01-04
- Master-Slave复制：通过主备复制实现Broker的高可用，当主节点故障时，自动切换至备用节点。 - Message Queue路由：NameServer维护Broker的路由信息，保证在Broker故障时能动态切换。 5. **消息可靠性**： - ...
Mall4j商城实战 - 部署 rocketmq-namesrv、rocketmq-broker、rocketmq-dashboard 消息队列
yueerba126的博客
11-15 173
RocketMQ 是一个开源的分布式消息和流处理平台，主要用于处理大规模的数据传输。它包括几个关键组件，每个组件都承担着不同的角色。其中。
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1457
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
RocketMQ多Master模式
ditan20061218的博客
06-25 338
了解了RocketMQ的基本知识后，我们先来学习一下RocketMQ的多Master模式。 多Master模式：集群中不存在Slave节点，集群中所有节点都是Master节点。优点是配置简单，单个Master宕机或重启对应用没有影响。但是如果某个节点的Master宕机之后，该节点上未被消费的消息在节点恢复之前无法订阅和消费，实时性受到影响。 集群搭建过程： 服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值