RocketMQ环境搭建(双master双slave模式)

最新推荐文章于 2023-07-03 11:51:20 发布
最新推荐文章于 2023-07-03 11:51:20 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： RocketMq消息队列

说明：

本文转自：

RocketMQ环境搭建(双master双slave模式)

搭建过程：

1.环境准备: 准备四台主机(我这里用CentOSx64)

主机角色broker
192.168.192.130Master1BrokerServerA
192.168.192.131Master2BrokerServerB
192.168.192.129Master1-slaveBrokerServerA-S
192.168.192.134Master2-slaveBrokerServerB-S

2.配置 /etc/hosts文件 在四个主机的hosts文件里面都配置一样的代码 vim /ect/hosts

 vim /ect/hosts
修改文件内容为：

192.168.192.130 rocketmq-nameserver1
192.168.192.130 rocketmq-master1
192.168.192.131 rocketmq-nameserver2
192.168.192.131 rocketmq-master2
192.168.192.129 rocketmq-nameserver3
192.168.192.129 rocketmq-master1-slave
192.168.192.134 rocketmq-nameserver4
192.168.192.134 rocketmq-master2-slave

 

3.重启网卡 命令:

$ service network restart

4.ping一下，看通不通

ping rocketmq-nameserver1
ping rocketmq-nameserver2
ping rocketmq-nameserver3
ping rocketmq-nameserver4

5.上传alibaba-rocketmq-3.2.6.tar.gz 到四个服务器上面的/usr/local下解压，改名，创建超链接

tar -vxzf alibaba-rocketmq-3.2.6.tar.gz
mv alibaba-rocketmq-3.2.6
ln -s alibaba-rocketmq-3.2.6 rocketmq

6.在四个服务器上面创建存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

7.进入到/usr/local/rocketmq/conf/2m-2s-async目录下(四台服务器都一样的操作),我们修改这个目录下的四个配置文件

 broker-a.properties

#所属集群名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

broker-a-s.properties

#所属集群名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

broker-b.properties

#所属集群名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

broker-b-s.properties

#所属集群名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

8.修改四台机器的日志配置文件

mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

9.修改启动脚本参数(两台机器)（参照双mater模式）

10.启动NameServer（参照双mater模式的）

11.启动broker

　　

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

netstat -ntlp
jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

11.1 启动BrokerServer A 服务器A

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

netstat -ntlp
jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

11.2 启动BrokerServer A-S 服务器A-slave

        

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &

netstat -ntlp
jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

11.3 启动BrokerServer B 服务器B

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 &

netstat -ntlp
jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

　11.4 启动BrokerServer B-S 服务器B-slave

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &

netstat -ntlp
jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

 

爱coding的同学
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
RocketMQ（六）多Master多Slave模式-异步复制集群搭建
weixiaohuai的博客
03-22 5470
目录 一、概述 二、环境准备 三、总体架构图 四、配置RocketMQ-Master01(主1 - 10.0.90.59) 五、配置RocketMQ-Master02(主2 - 10.0.90.144) 六、配置RocketMQ-Slave01(从1 - 10.0.91.8) 七、配置RocketMQ-Slave02(从2 - 10.0.91.49) 八、启动NameServer集群 九、启动Broker集群 十、启动可视化控制台 一、概述 前面一篇文章我们介绍了RocketMQ..
Rocketmq（多Master多Slave模式-异步复制与多Master多Slave模式-同步双写）
荣山的博客
05-19 1767
Rocketmq（多Master多Slave模式-异步复制与多Master多Slave模式-同步双写）
RokcetMQ HA架构：Slave复制原理（不含事务）
lidelin10的博客
05-03 903
Apache RocketMQ是统一的消息引擎，轻量级的数据处理平台。本文介绍了Rocket MQ高可用架构原理，着重介绍了其中的技术细节。
聊聊 RocketMQ 主从复制
m0_73311735的博客
07-03 349
RocketMQ 主从复制的实现思路非常简洁，Slave 启动一个线程，不断从 Master 拉取 Commit Log 中的数据，然后在异步 build 出 Consume Queue 数据结构。1、主从复制包含元数据复制和消息数据复制两个部分；2、元数据复制Slave Broker 定时任务每隔 10 秒向 Master Broker 发送 RPC 请求，将元数据同步到缓存后，然后持久化到磁盘里；3、消息数据复制Master 启动监听指定端口。
Linux服务器安装JavaWeb环境(三) RocketMQ,Nacos
脑壳疼
11-18 1395
/*****************【安装RocketMq】****************/ 1.下载安装包 http://rocketmq.apache.org/dowloading/releases/ 下载.zip版本的包，我这里下载的是4.4.0版本 2.创建文件夹，上传到服务器并解压，修改解压后的文件夹名称 cd /usr/local rz unzip rocketmq-all-4.4.0-bin-release.zip mv rocketmq-all-4.4.0-bin-relea
MongoDB的Master-Slave主从模式配置及主从复制要点解析
09-10
主从复制是数据库运维中一种常见的备份方式,这里我们来看一下MongoDB的Master-Slave主从模式配置及主从复制要点解析,需要的朋友可以参考下
第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx
08-25
第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
最新发布
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
Hadoop-2.2.0 master slave1 slave2
02-04
Hadoop-2.2.0版本，虚拟机下建的三个centos系统：master，slave1，slave2.里边的配置文件都已经配好，只需要简单改下id，即可使用。不需要在进行解析。
RocketMQ主从同步配置
LeoBiggU的博客
04-10 1692
前言 前面我们在需要在VMware下搭建Linux简易局域网集群？手把手教你搞定一文中搭建了 一个Win10+CentOS7局域网集群，且其各个CentOS之间可以免密钥访问，其IP信息如下： 集群IP分配表 系统 网关 IP 子网掩码 Windows10 192.168.2.1 192.168.2.2...
【RocketMQ高可用】RocketMQ 双主双从集群搭建
qq_34416331的博客
07-14 3047
一、 集群架构 描述 NameServer 集群 NameServer 是一个无状态的节点，可集群部署，节点都是各自独立的，无任何信息同步 Broker 集群 ①Broker 分为 Master 与 Slave，一个 Master 可以对应多个 Slave，但一个 Slave 只能对应一个Master ② Master 与 Slave 的对应关系通过制定相同的 BrokerName，不同的 BrokerID 来定义，id 为 0 表示 Master， ...
RocketMQ
weixin_44125071的博客
04-21 1040
消息模型RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。Message Queue用于存储消息的物理地址，每个Topic中的消息地址存储与多个Message Queue中。Consumer Group由多个Consumer实例构成。
RocketMQ〖一〗介绍及在服务器上分布式搭建多Master多Slave模式RocketMQ
kingtok的博客
02-08 1万+
RocketMQ〖一〗
RocketMQ HA机制(主从同步)
中间件兴趣圈
06-25 1万+
本文主要回答主从同步如下几个问题：1、主，从服务器都在运行过程中，消息消费者是从主拉取消息还是从从拉取？2、当消息消费者向从服务器拉取消息后，会一直从从服务器拉取？3、主从服务消息消费进是如何同步的？以及读写分离的正确使用姿势。
rocketMq - master/slave同步
weixin_34228387的博客
03-23 1245
本章主要需要讲清楚两个概念，第一个是slave主动和master同步，第二个是master主动和slave同步。而且我保证这是唯一一篇能够把这两个过程讲清楚的文章，至少在这篇文章之前我找了很多文章，没有一篇文章将整个过程合起来讲解清楚的，说明还是花了时间在里面的。 slave->master同步：主要是...
RocketMQ全解
拱卒的博客
04-18 1593
1 介绍 RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。 1.1 RocketMQ 特点 支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型 在一个队列中可靠的先进先出...
RocketMQ的broker处理消息commit时，加锁应该使用自旋锁还是重入锁
程序猿的樊笼
12-13 1209
讨论的主题 以下内容基于rocketmq4.7.1版本。 rocketmq的broker端关于消息发送的配置项中，有这样2项配置： 1. 是否使用重入锁 /** * introduced since 4.0.x. Determine whether to use mutex reentrantLock when putting message.<br/> * By default it is set to false indicating using spi
rocketmq部署及配置介绍
热门推荐
licusliu的博客
12-25 2万+
1. 概述 1.1  编写目的 本文介绍了RocketMq的部署步骤、运行步骤以及Afa中RocketMq接入接出的配置说明以及组件使用说明，主要应用于使用RocketMq进行消息发送以及消费的场景。   1.2 名词解释 术语和缩写 解释 备注 nameServer 专门为RocketMQ设...
我的rocketmq集群搭建mast2 slave1 rocketmq控制台进不去
08-18
您好！对于您的问题，我有一些可能的解决方案： 1. 检查网络连接：确保您的网络连接正常，尝试通过浏览器访问RocketMQ控制台的URL，看是否能够打开。如果无法打开，请检查网络配置和防火墙设置。 2. 检查配置文件：确保您的RocketMQ集群配置文件正确设置了主从节点的IP地址和端口号，并且配置文件在所有节点上都是一致的。您可以检查`broker.conf`文件和`namesrv.conf`文件。 3. 检查RocketMQ服务状态：使用命令行工具或者脚本检查RocketMQ服务的运行状态。您可以使用`mqadmin`命令行工具执行`mqadmin clusterList`命令来查看集群状态，并确保主从节点都处于正常运行状态。 4. 检查日志文件：查看RocketMQ的日志文件，了解是否有任何异常或错误信息。通常，RocketMQ的日志文件位于`logs`目录下，您可以查看`broker.log`和`namesrv.log`文件。 如果您仍然无法解决问题，请提供更多详细信息，我将尽力帮助您解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值