rocketMq之双主双从同步模式搭建（四）

最新推荐文章于 2023-09-21 17:09:22 发布
最新推荐文章于 2023-09-21 17:09:22 发布
阅读量494 收藏 3
点赞数
分类专栏： MQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19831379/article/details/110790436
版权

物理架构图

工作流程

启动NameServer，等待Broker、Producer、Consumer建立长连接，相当于注册中心

Broker启动后，与NameServer建立长连接，定时发送心跳包，心跳包包含Broker信息（ip+port）和存储所有的Topic信息，注册成功后，Name Server就有Topic与Broker的映射关系

收发消息前，先创建Topic，知道Topic存储再哪些Broker上，也可以发送消息自动发送Topic

启动Producer后，与NameServer建立长连接，从NameServer中获取当前发送的Topic存在哪些Broker上，轮询选择一个队列，然后与队列所在的Broker建立长连接来发送消息

启动Consumer后，与NameServer建立长连接，获取当前订阅的Topic在哪些Broker上，然后与他们建立长连接来消费消息

服务器环境

序号ip角色架构模式
139.106.142.155nameserver、brokerMaster1、slave2
2106.55.146.154nameserver、brokerMaster2、slave1

添加host

vim /etc/hosts

配置如下：

#nameserver
39.106.142.155 rocketmq-nameserver1
106.55.146.154 rocketmq-nameserver2
#broker
39.106.142.155 rocketmq-master1
106.55.146.154 rocketmq-master2
39.106.142.155 rocketmq-slave2
106.55.146.154 rocketmq-slave1

重启网卡：

systemctl restart network

关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service
  • 如果在阿里云或腾讯云不能关闭防火墙，那边必须开通如下端口
  1. rocketmq 默认端口：9876
  2. 配置的 ListenPort 端口：10911（主）和11011（从）
  3. vip 通道端口为：ListenPort - 2 = 10909
  4. HA 通道端口为： ListenPort + 1 = 10912

修改环境变量

vim /etc/profile

配置如下：

#set rocketmq
ROCKETMQ_HOME=/root/rocketmq-all-4.7.1-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

导入配置：

 source /etc/profile

创建消息存储路径

mkdir store
cd store
mkdir commitlog
mkdir consumequeue
mkdir index
#下面用于启动slave的配置，store只能配置给一个broker
mkdir store-slave
cp -r store/* store-slave
  • 39.106.142.155 master1配置 
brokerClusterName=rocketmq-cluster
brokerName=broker-a
brokerId=0
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
brokerIP1=39.106.142.155
#自动创建不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否运行broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitlog每个文件的默认大小为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存储30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/root/rocketmq-all-4.7.1-bin-release/store
#commitlog存储路径
storePathCommitLog=/root/rocketmq-all-4.7.1-bin-release/store/commitlog
#消费队列存储路径
storePathComsumeQueue=/root/rocketmq-all-4.7.1-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/root/rocketmq-all-4.7.1-bin-release/store/index
#checkpoint文件路径
storeCheckpoint=/root/rocketmq-all-4.7.1-bin-release/store/checkpoint
#abort文件存储路径
abortFile=/root/rocketmq-all-4.7.1-bin-release/store/abort
#限制的消息大小
maxMessageSize=65536
brokerRole=SYNC_MASTER
#同步刷盘
flushDiskType=ASYNC_FLUSH
  • 39.106.142.155 slave2配置
brokerClusterName=rocketmq-cluster
brokerName=broker-b
brokerId=1
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
brokerIP1=39.106.142.155
#自动创建不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否运行broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitlog每个文件的默认大小为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存储30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/root/rocketmq-all-4.7.1-bin-release/store-slave
#commitlog存储路径
storePathCommitLog=/root/rocketmq-all-4.7.1-bin-release/store-slave/commitlog
#消费队列存储路径
storePathComsumeQueue=/root/rocketmq-all-4.7.1-bin-release/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/root/rocketmq-all-4.7.1-bin-release/store-slave/index
#checkpoint文件路径
storeCheckpoint=/root/rocketmq-all-4.7.1-bin-release/store-slave/checkpoint
#abort文件存储路径
abortFile=/root/rocketmq-all-4.7.1-bin-release/store-slave/abort
#限制的消息大小
maxMessageSize=65536
brokerRole=SLAVE
#同步刷盘
flushDiskType=ASYNC_FLUSH
  • 106.55.146.154 master2配置
brokerClusterName=rocketmq-cluster
brokerName=broker-b
brokerId=0
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
brokerIP1=106.55.146.154
#自动创建不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否运行broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitlog每个文件的默认大小为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存储30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/root/rocketmq-all-4.7.1-bin-release/store
#commitlog存储路径
storePathCommitLog=/root/rocketmq-all-4.7.1-bin-release/store/commitlog
#消费队列存储路径
storePathComsumeQueue=/root/rocketmq-all-4.7.1-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex=/root/rocketmq-all-4.7.1-bin-release/store/index
#checkpoint文件路径
storeCheckpoint=/root/rocketmq-all-4.7.1-bin-release/store/checkpoint
#abort文件存储路径
abortFile=/root/rocketmq-all-4.7.1-bin-release/store/abort
#限制的消息大小
maxMessageSize=65536
brokerRole=SYNC_MASTER
#同步刷盘
flushDiskType=SYNC_FLUSH

106.55.146.154 slave2配置

brokerClusterName=rocketmq-cluster
brokerName=broker-a
brokerId=1
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
brokerIP1=106.55.146.154
#自动创建不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic,建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否运行broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitlog每个文件的默认大小为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存储30w条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/root/rocketmq-all-4.7.1-bin-release/store-slave
#commitlog存储路径
storePathCommitLog=/root/rocketmq-all-4.7.1-bin-release/store-slave/commitlog
#消费队列存储路径
storePathComsumeQueue=/root/rocketmq-all-4.7.1-bin-release/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/root/rocketmq-all-4.7.1-bin-release/store-slave/index
#checkpoint文件路径
storeCheckpoint=/root/rocketmq-all-4.7.1-bin-release/store-slave/checkpoint
#abort文件存储路径
abortFile=/root/rocketmq-all-4.7.1-bin-release/store-slave/abort
#限制的消息大小
maxMessageSize=65536
brokerRole=SLAVE
#同步刷盘
flushDiskType=ASYNC_FLUSH
  • 39.106.142.155启动Master1和Slave2，使用jps命令查看是否成功启动
nohup sh bin/mqbroker -c /root/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a.properties &
nohup sh bin/mqbroker -c /root/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-b-s.properties &
  • 106.55.146.154启动Master2和Slave1，使用jps命令查看是否成功启动
nohup sh bin/mqbroker -c /root/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-b.properties &
nohup sh bin/mqbroker -c /root/rocketmq-all-4.7.1-bin-release/conf/2m-2s-sync/broker-a-s.properties &

 

冥极醉醉冥极
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Broker主从同步详解
weixin_43248318的博客
04-08 1200
文章目录主从同步概述主从同步流程名词解释配置数据同步流程CommitLog数据同步流程异步复制Slave -> Master*ReadSocketService*：Master接收Slave同步数据的请求，并将这些信息保存在HAConnection中。*WriteSocketService*：Master根据HAConnection中保存的Slave同步请求，从CommitLog中查询数据，并发送给Slave。Master -> Slave同步复制参考文档 主从同步概述 众所周知，Broker中
RocketMQ集群部署——双主双从同步机制
天羽云龙的博客
02-22 1381
RocketMQ集群部署——双主双从同步机制
【环境搭建】RocketMQ集群搭建
在长期主义之路上，与伟大格局观者同行，做时间的朋友。
12-24 1411
环境搭建rocketmq集群篇，方便学习中复现和使用，时间宝贵，踩坑艰难。包含集群搭建，管理台搭建，springboot本地请求等。
RocketMQ-手把手教你搭建集群
秃了也弱了
01-14 2764
目录 一、集群架构 二、准备rocketmqOS1主机 三、修改rocketmqOS1配置文件 配置文件位置 修改broker-a.properties 修改broker-b-s.properties 其它配置 四、准备rocketmqOS2主机 五、修改rocketmqOS2配置文件 修改broker-b.properties 修改broker-a-s.properties 六、启动服务器 启动NameServer集群 启动两个Master 启动两个Slave 七、mqad
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1304
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
一、双主双从同步集群搭建与测试
09-20
RocketMQ-externals-master可能包含了用于搭建和测试双主双从同步集群的相关源码和脚本，这些资源可以帮助开发者深入理解RocketMQ的工作原理，并且能够动手实践，进一步提升对高可用架构设计的理解和应用能力。...
高可用 RocketMQ 集群搭建.doc
08-24
4. 多 Master 多 Slave 模式-同步双写：每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用同步双写方式，即只有主备都写成功，才向应用返回成功。这种模式的优点是数据与服务都无单点故障，Master 宕机情况...
1.1.RocketMq课程说明.mp4
05-27
本系列课程从rocketmq基础到高级实战，老师手把手教你如何进行rocketmq集群的搭建，课程体系完整清晰，理论结合实践，且涵盖了高频面试题。 1.MQ简介 1.1.mq简介 1.2.mq的作用 1.3.主要的mq产品 1.4.mq的缺点 1.5....
rocketmq安装包，rocketmq-all-5.1.3-bin-release
08-22
同步模式下，Producer会等待 Broker 确认消息已经存储成功；异步模式下，Producer发送消息后立即返回，无需等待确认。 5. **Consumer**：Consumer是消息的接收方，它可以订阅一个或多个Topic，按照Pull或Push方式...
springboot整合rocketmq源码
04-22
RocketMQ，由阿里巴巴开源，现在是Apache顶级项目，它支持发布/订阅模式和点对点模式的消息传递，具备高吞吐量、低延迟、高可用性及可扩展性。RocketMQ适用于大规模分布式系统中的消息传输，如订单处理、交易同步、...
4.2 RocketMQ (二) 双主双从同步复制集群方案
蟑螂恶霸的博客
09-21 218
在两台服务器上分别查看java进程，确认两台服务器上是否各启动了三个java进程，分别运行。在一台服务器上启动两个 broker 实例，需要为不同实例设置单独的数据存储目录。，它们不用做任何集群的配置，都是作为独立服务运行，它们之间也不会进行数据复制。，在两台虚拟机上安装 Rocketmq。或在一台虚拟机上装好后进行克隆。为了方便起见，我们在两台服务器上都创建这四个实例所需要的的目录。目录下提供了四种集群方案的配置样例。服务启动后，要同时连接这两个。在两台服务器上启动两个。在两台服务器上都启动。
RocketMQ-Broker(五)-主从同步机制
星光之子的博客
12-08 2506
Broker主从同步机制主从同步概述主从同步流程相关名词配置数据同步流程CommitLog数据同步流程异步复制同步复制 主从同步概述 Master主要用于处理生产者、消费者的请求和存储数据 Slave从Master同步所有数据到本地，具体作用提现如下： Broker服务高可用。一般生产环境不会部署两个主Broker节点和两个从Broker节点（也叫 2m2s），一个 Master宕机后，另一个 Master可以接管工作；如果两个 Master都宕机，消费者可以通过连接Slave继续消费。这样可以保证服务的
Java教程：RocketMq集群消息核心知识与SpringBoot整合并实现生产者与消费者
wfeil211的博客
09-28 4293
Java教程：RocketMq集群消息核心知识与SpringBoot整合并实现生产者与消费者
RocketMQ (二) 双主双从同步复制集群方案
wanght笔记
07-09 7892
建文件夹 mkdir /usr/local/rocketmq/store/ mkdir /usr/local/rocketmq/store/broker-a mkdir /usr/local/rocketmq/store/broker-a/commitlog mkdir /usr/local/rocketmq/store/broker-b mkdir /usr/local/rocketmq/store/broker-b/commitlog mkdir /usr/local/rocketmq/store/br
RocketMQ-双主双从集群+DashBorad搭建(云服务器)
HGW的博客
12-22 1779
本文从理论知识垫基础到基于云服务器部署双主双从的RocketMQ集群，可谓是通透～
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 893
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
RocketMQ多Master多Slave模式部署
u010634288的博客
02-25 6869
1. 服务器环境入下图所示，四台机器，IP位145为主节点，146是145的从节点。149是主节点，150是146的从节点 序号                IP                         用户名                              角色                                              模式 1
多 Master 多 Slave 模式，同步双写
weixin_33724046的博客
03-14 872
2019独角兽企业重金招聘Python工程师标准>>> ...
RocketMQ多master多SLAVE配置
u014182745的专栏
08-14 1426
如果未配置过双master模式的您。（过多详细的我就不说了）建议先看看这个，这样更容易看懂： http://blog.csdn.net/u014182745/article/details/771544441、首先配置hosts192.168.3.201 service1 192.168.3.202 service2 192.168.3.203 service3 192.168.3.204 ser
rocketmq 双主部署
最新发布
06-20
RocketMQ双主部署是指在一个RocketMQ集群中，有两个Broker分别作为主节点，同时拥有相同的Topic和Queue，以实现高可用性和负载均衡。在双主部署中，每个Broker都可以独立地处理消息，当其中一个Broker出现故障时，另...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值