2、RocketMQ 2主2从异步刷盘集群搭建

最新推荐文章于 2023-10-04 23:03:43 发布
最新推荐文章于 2023-10-04 23:03:43 发布
阅读量241 收藏 2
点赞数 1
文章标签： rocketmq 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matrixlzp/article/details/131493185
版权

 一、服务器规划

首先准备三台虚拟机 CentOS7

192.168.65.111     worker1
192.168.65.112     worker2              
192.168.65.113     worker3              

 修改三台机器 hosts 文件

vim /etc/hosts

 

 确保每台机器上都能 ping 通另外两台机器

就说明我们 hosts 配置没有问题

 二、集群规划

机器名nemaeserver节点部署broker 节点部署
worker1nemaeserver
worker2nemaeserverbroker-a, broker-b-s
worker3nemaeserverbroker-b,broker-a-s

 

 

 

 

 1、配置第一组 broker-a

 在 worker2 上先配置 broker-a 的 master节点。先配置 $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties

[root@worker1 2m-2s-async]# vim broker-a.properties
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

该节点对应的从节点在 worker3 上。修改 worker3 $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties 只需要修改 brokerId 、brokerRole 还有那些存储路径的地址

[root@worker3 2m-2s-async]# vim broker-a-s.properties
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/storeSlave
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/storeSlave/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2、配置第二组 broker-b

这一组broker的主节点在worker3上，所以需要配置worker3上的 $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties

[root@worker3 2m-2s-async]# vim broker-b.properties
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

然后他对应的 slave 在worker2上，修改work2上的 $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/storeSlave
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/storeSlave/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3、启动 nameserver

修改三个节点上的 $ROCKETMQ_HOME/bin/runserver.sh，调整里面的 jvm内存配置

 在三个节点上运行

[root@worker1 bin]# nohup ./mqnamesrv &

 4、启动broker

启动 broker 是使用的 mqbroker 指令，只是注意启动 broker 时需要通过-c 指定对应的配置文件。 在 worker2上启动 broker-a 的 master 节点和 broker-b 的 slave 节点。

为了区分 nohup 的输出，我们在 $ROCKETMQ_HOME 执行

nohup bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
nohup bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &

 在 work3 上启动 broker-b 的 master 节点和 broker-a 的 slave 节点

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

三、搭建管理控制台

rocketmq 扩展项目： https://github.com/apache/rocketmq-externals

下有一个 

 修改 rocketmq-console\src\main\resources 下的 application.properties文件

 使用maven进行编译

mvn clean package -Dmaven.test.skip=true

 把 rocketmq-console-ng-1.0.1.jar 上传到集群任意一台服务器运行

nohup java -jar rocketmq-console-ng-1.0.1.jar &

 

 四、生产者发送消息

在RocketMQ的安装包中，提供了一个tools.sh工具可以用来在命令行快速验证RocketMQ服务。

tools.sh org.apache.rocketmq.example.quickstart.Producer

 控制台多出来一个主题

 五、消费者消费消息

tools.sh org.apache.rocketmq.example.quickstart.Consumer

 可以看到主题的消费情况

 

 

matrixlzp
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ两主两从部署搭建
weixin_45817985的博客
11-30 242
RocketMQ两主两从部署搭建
RocketMQ-环境部署-2主2从部署-同步双写-异步刷盘-详细步骤图解
WangYongJi
12-09 904
RocketMQ学习目录 RocketMQ-2主2从部署同步双写异步刷盘 RocketMQ-环境部署-双主双从部署-同步双写-异步刷盘RocketMQ学习目录1.环境2.上传tar包，修改存储目录3.修改启动参数与hosts4.修改配置文件5.启动与停止6.清理数据 64bit OS, Linux/Unix/Mac is recommended;(Windows user see guide below) 1.环境 RocketMQ-环境部署-2主2从部署-同步双写-异步刷盘-详细步骤图解
浅析RocketMQ-CommitLog异步刷盘
起风
09-18 353
rocketmq commitlog异步刷盘
Rocketmq 双主双从集群搭建
weixin_43866043的博客
03-16 2577
rocketmq简介：RocketMQ 是阿里巴巴开源的分布式消息中间件。2017年捐献给apache开源基金会，次年成为apache顶级项目 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式等特点 liunx 下 rocketmq 双主双从集群搭建 IP地址 角色 192.168.180.133 master1 192.168.180.133 master2-slave 192.168.180.245 master2 192.168
RocketMq-刷盘机制
小城我家
11-18 1306
刷盘机制 RocketMQ 的所有消息都是持久化的，先写入系统 PageCache，然后刷盘，可以保证内存与磁盘都有一份数据， 访问时，直接从内存读取。消息在通过Producer写入RocketMQ的时候，有两种写磁盘方式，分布式同步刷盘和异步刷盘。 同步刷盘 同步刷盘与异步刷盘的唯一区别是异步刷盘写完 PageCache直接返回，而同步刷盘需要等待刷盘 完成才返回， 同步刷盘流程如下： (1). 写入 PageCache后，线程等待，通知刷盘线程刷盘。 (2). 刷盘线程刷盘后，唤醒前端等待线程，可能是
rocketMQ系列2
weixin_45650737的博客
12-29 132
https://github.com/apache/rocketmq-spring 启动依赖;生产者 配置文件； rocketmq.name-server=192.168.25.135:9876;192.168.25.138:9876 rocketmq.producer.group=my-group 消费者； 配置文件； rocketmq.name-server=192.168.25.135:9876;192.168.25.138:9876 rocketmq.consumer.group=my
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建 RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ ...
Rocketmq学习自用2
01-20
为了保证发送的高可用，可以搭建双主双从架构。 - **主从复制**：配置`brokerRole`为`ASYNC_MASTER`、`SYNC_MASTER`或`SLAVE`。同步复制保证Master和Slave都写成功后再返回，消息一致但效率较低；异步复制Master写...
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
最新发布
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
asyn2sensor.rar_2tsensor_传感器_传感器时间_异步_异步融合
07-13
两传感器异步融合，由于采样率和传感器开机时间不同引起的异步问题。
RocketMQ架构与RocketMQ 的刷盘机制（附官方图文，同步刷盘与异步刷盘）
m0_65819602的博客
10-04 418
消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。Index文件的存储位置是：$HOME \store\index\${fileName}，文件名fileName是以创建时的时间戳命名的，固定的单个IndexFile文件大小约为400M，一个IndexFile可以保存 2000W个索引，IndexFile的底层存储设计为在文件系统中实现HashMap结构，故rocketmq的索引文件其底层实现为hash索引。1.1 消息存储整体架构。
图文并茂，深入理解RocketMQ的刷盘机制
qwer123451234123的博客
05-04 1417
今天这篇我们先来聊聊 Kafka 生产者初始化时用到的核心组件以及发送的核心流程，带你梳理生产者初始化整体的源码分析脉络。 认真读完这篇文章，我相信你会对 Kafka 生产初始化源码有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 我们都知道在 Kafka 中，我们把产生消息的一方称为生产者即 Producer，它是 Kafka 核心组件之一，也是消息的来源所在。那么这些生产者产生的消息是如何传到 Kafka 服务端的呢？初始化过程是怎么样的呢？接下来会逐一讲解说明。
RocketMQ源码分析----刷盘的实现
菜鸟一名
04-03 2611
Broker启动的时候，会调用CommitLog的start方法，然后再启动flushCommitLogService线程 在CommitLog的构造方法中，会判断刷盘的类型 public CommitLog(final DefaultMessageStore defaultMessageStore) { this.mapedFileQueue = new Ma
RocketMQ存储--同步刷盘和异步刷盘【源码笔记】
gaoliang1719的专栏
08-19 648
目录一、问题思考 二、Broker启动刷盘有关调用链 1.调用链 2.线程类关系图 三、线程类工作流程 1.堆外内存线程类CommitRealTimeService工作流程 2.同步刷盘...
RocketMq的数据刷盘策略和复制策略以及RAID介绍
健康平安的活着的专栏
06-04 1084
刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘的方式。分为同步刷盘与异步刷盘：同步刷盘：当消息持久化到broker的磁盘后才算是消息写入成功。异步刷盘：当消息写入到broker的内存后即表示消息写入成功，无需等待消息持久化到磁盘。
rocketmq二进制2m-2s异步集群部署
菜的一笔
05-09 344
rocketmq集群安装部署
小白第一次搭建rocketmq2主2从模式
qq_41570012的博客
10-16 1140
首先感谢写过搭建文档的大佬们，我完全是照着搬得，只是加了些自己的理解。 https://blog.csdn.net/u014211122/article/details/79712519?utm_source=blogxgwz6 https://blog.csdn.net/loongshawn/article/details/51086876 https://blog.csdn.net/we...
RocketMQ 二主二从异步集群部署
FanGer的博客
07-20 568
一、节点规划 第一台机器 192.168.31.103 端口规划： 9876 NameServer1 10910 BrokerA-master 10921 BrokerB-slave 第二台机器 192.168.31.104 端口规划： 9876 NameServer2 10920 BrokerB-master 10911 BrokerA-slave 二、下载 从官网首页最新发布版本进入下载地址 http://rocketmq.apache.org/ 从Latest release vx.x.x进入最新版
ansible部署rocketmq2主2从异步集群的hosts文件怎么写 主机怎么分配
06-09
你好，对于RocketMQ 2主2从异步集群的部署，可以将4台服务器分为两组，每组分别部署一个主节点和一个从节点。具体的hosts文件可以按照以下格式编写： ``` [master] 192.168.1.1 192.168.1.2 [slave] 192.168.1.3 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值