Liunx-RocketMQ集群部署

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量391 收藏
点赞数
分类专栏： Liunx 分布式中间件 文章标签： RocketMQ 消息中间件 消息队列 集群部署 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44642403/article/details/119225238
版权
本文详细介绍了RocketMQ的集群部署，重点关注Broker集群的搭建，包括数据复制策略（同步复制与异步复制）和磁盘持久化策略（同步持久化与异步持久化）。推荐的部署模式是多Master多Slave异步复制，确保高可用性和性能。文中提供了双主双从异步复制模式的配置步骤，包括修改配置文件和启动服务的方法。
摘要由CSDN通过智能技术生成

RocketMQ单机部署

这里说到的集群部署主要是Broker集群的部署，因为NameServer集群与生产/消费者集群部署方式都比较简单，但是本文也会提到不会做过多的步骤演示

Broker集群部署

Broker是RocketMQ集群配置中难度最高的集群配置，在集群搭建前首先需要了解几样东西，数据复与磁盘IO策略

前置知识

数据复与磁盘IO策略

复制策略：Broker的Master与Slave间的数据同步方式，分为同步复制与异步复制

  • 同步复制：消息写入master后，master会等待slave同步数据成功后才会向producer(消费者)返回成功ACK
  • 异步复制：消息写入master后，master立即回向producer(消费者)返回成功ACK，无需等待Slave同步数据成功

持久化策略：Broker中消息的从内存持久化到磁盘的方式，分为同步持久化与异步持久化

  • 同步持久化：当消息持久化到broker的磁盘后才算消息写入成功
  • 异步持久化：当消息写入到broker内存后即表示消息写入成功，无需等待消息持久化到磁盘

总结：如当前复制策略是同步，持久化策略也是同步，那么一个生产者发送消息给broker后，消息写入给master并且slave完成数据同步，并且master与slave都把数据持久化到磁盘后才会返回成功ACK给生产者，告诉生产者可以发送下一条消息了

在这里插入图片描述

集群部署模式分类

Broker集群的部署模式是分好几种每一种都有不同的特点，下面分别介绍一下常见的几种集群模式，并且再这里面涉及到一个知识点RAID10磁盘阵列由于该知识点不属于RocketMQ范围内所以不做过多的说明，需要了解的小伙伴可直行百度

RAID10磁盘阵列粗略说明：一种高性能，高可靠的存储技术

多Master模式

该模式下的Broker集群仅有多个master组成，同一个Topic的各个Queue会发布再各个的master上

总结：这种模式缺点显而易见，那就是无法保证高可用如果有一个master带着他所收到的消息一起宕机了，那么那个master中的消息将无法被消费了

多Master多Slave模式-异步复制

该模式下的Broker集群由多个Master构成，每个Master又配置了多个slave(在配置了RAID磁盘阵列的情况下，一个master一般配置一个slave即可)，master与slave是主备关系，master负责处理消息的读写请求，而slave只负责消息的备份，当master宕机后slave就会切换成master角色

异步复制策略：指当消息写入到master成功后，master立刻返回producer成功ACK，无需等待slave数据同步成功

特点：该模式的最大特点是，当master宕机后slave能够自动切换master，不通过由于slave与master同步具有短暂的延迟(毫秒级)，所以master宕机后，可能会存在少了的数据还没同步到slave中造成数据丢失

多Master多Slave模式-同步双写

该模式与异步复制模式相比不同点

  1. 当消息写入到master后，master会等待slave写入成功后才返回producer成功ACK，无需等待slave数据同步成功
  2. 重点注意该模式有一个重大问题!!! 对于目前版本，master宕机，slave不会自动切换到master
最佳部署模式

总结集群的几种集群模式后最佳的集群模式是多Master多Slave模式-异步复制，这也最广泛也是最可靠的模式

使用多Master多Slave模式-异步复制模式，并且为mster配置RAID10磁盘阵列，然后给master配置一个slave，即利用RAID10的高效，又解决了可能会影响订阅的问题

集群搭建

双主双从-异步复制模式

双主双从-异步复制模式也是使用最多的模式，也正是官方图中的集群模式

在这里插入图片描述

前期准备

  1. 准备2台Liunx系统

  2. 下载RocketMQ压缩包：下载地址

  3. 将压缩包拷贝到自己喜欢的目录

  4. 解压压缩包unzip rocketmq-all-4.9.0-bin-release.zip

在这里插入图片描述

修改配置文件

进入到RocketMQ的conf目录下可以看到里面默认提供了3种配置的模板

  1. 2m-2s-async：双主双从-异步复制
  2. 2m-2s-sync：双主双从-同步复制
  3. 2m-noslave：双主无从

左边为主机A

  1. 修改broker-a.properties配置文件，本机(主机A)生成一个Master(主节点)
  2. 修改broker-b-s.properties配置文件，本机(主机A)生成一个主机B的Slave(从节点)，它的Master是主机B

右边为主机B

  1. 修改broker-b.properties配置文件，本机(主机B)生成一个Master(主节点)
  2. 修改broker-a-s.properties配置文件，本机(主机B)生成一个Slave(从节点)，它的Master是主机A

在这里插入图片描述

主机A配置
修改broker-a.properties
# 整个broker集群的名称，或者说是RocketMQ集群名称(一般情况下都是同一个)
brokerClusterName=DefaultCluster
# 指定的master-slave集群的名称(小集群名称)， 整个broker下会有多个master-slave集群
brokerName=broker-a
# master的brokerId为0(非0都是slave)
brokerId=0
# 指定删除消息存储过期的文件的时间为凌晨4点
deleteWhen=04
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，会被删除
fileReservedTime=48
# 指定在当前broker为MASTER异步复制模式
brokerRole=ASYNC_MASTER
# 指定持久化策略为异步持久化
flushDiskType=ASYNC_FLUSH
# 指定NameServer的地址
namesrvAddr=192.168.100.101:9876;192.168.100.102:9876
# 指定broker对外提供服务的端口，即与生产者消费者通讯的端口，由于默认是10911(如果1机部署多broker必须指定否则冲突)
listenPort=10911
# 指定消息存储相关路径不指定默认都在~/store下(如果1机部署多broker必须指定否则冲突)
storePathRootDir=~/store-m
storePathCommitLog=~/store-m/commitlog
storePathConsumeQueue=~/store-m/consumequeue
storePathIndex=~/store-m/index
storeCheckpoint=~/store-m/checkpoint
abortFile=~/store-m/abort
修改broker-b-s.properties
# 整个broker集群的名称，或者说是RocketMQ集群名称(一般情况下都是同一个)
brokerClusterName=DefaultCluster
# 指定的master-slave集群的名称(小集群名称)， 整个broker下会有多个master-slave集群
brokerName=broker-b
# 非0表示自己为slave
brokerId=1
# 指定删除消息存储过期的文件的时间为凌晨4点
deleteWhen=04
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，会被删除
fileReservedTime=48
# 指定在当前broker为SLAVE
brokerRole=SLAVE
# 指定持久化策略为异步持久化
flushDiskType=ASYNC_FLUSH
# 指定NameServer的地址
namesrvAddr=192.168.100.101:9876;192.168.100.102:9876
# 指定broker对外提供服务的端口，即与生产者消费者通讯的端口，由于默认是10911
# 并且当前是一台主机上部署了2个broker所以要修改一下否则和上面的broker-a.properties端口冲突
listenPort=11911
# 指定消息存储相关路径不指定默认都在~/store下(如果1机部署多broker必须指定否则冲突)
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort
主机B配置

主机B与主机A配置类似所以这里我就不加配置注释了

修改broker-b.properties
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.100.101:9876;192.168.100.102:9876
listenPort=10911
storePathRootDir=~/store-m
storePathCommitLog=~/store-m/commitlog
storePathConsumeQueue=~/store-m/consumequeue
storePathIndex=~/store-m/index
storeCheckpoint=~/store-m/checkpoint
abortFile=~/store-m/abort
修改broker-a-s.properties
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.100.101:9876;192.168.100.102:9876
listenPort=11911
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort
常用配置表
属性默认说明
brokerClusterNameDefaultCluster整个broker集群的名称，或者说是RocketMQ集群名称(一般情况下都是同一个)
brokerName指定的master-slave集群的名称(小集群名称)， 整个broker下会有多个master-slave集群
brokerId00表示master，大于0的表示slave
namesrvAddr4nameServer地址，分号分割
defaultTopicQueueNumstrue默认为新建Topic所创建的队列数
autoCreateTopicEnabletrue是否允许 Broker 自动创建Topic，建议生产环境中关闭
autoCreateSubscriptionGrouptrue是否允许 Broker 自动创建订阅组，建议生产环境中关闭
listenPort10911Broker对外提供服务的端口，即Broker与producer与consumer通信的端口
haListenPort10912HA高可用监听端口，即Master与Slave间通信的端口，默认值为listenPort+1
deleteWhen04指定删除消息存储过期文件的时间为凌晨4点
fileReservedTime48指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除
mapedFileSizeCommitLog1073741824指定commitLog目录中每个文件的大小，默认1G
mapedFileSizeConsumeQueue300000指定ConsumeQueue的每个Topic的每个Queue文件中可以存放的消息数量，默认30w条
destroyMapedFileIntervalForcibly120000在清除过期文件时，如果该文件被其他线程所占用（引用数大于0，比如读取消息），此时会阻止 此次删除任务，同时在第一次试图删除该文件时记录当前时间戳。该属性则表示从第一次拒绝删除 后开始计时，该文件最多可以保留的时长。在此时间内若引用数仍不为0，则删除仍会被拒绝。不过
时间到后，文件将被强制删除
diskMaxUsedSpaceRatio88指定commitlog、consumequeue所在磁盘分区的最大使用率，超过该值，则需立即清除过期文 件
storePathRootDir~/store指定store目录的路径
storePathCommitLog~/store/commitlogcommitLog目录路径
storePathConsumeQueue~/store/consumequeueconsumeueue目录路径
storePathIndex~/store/indexindex目录路径
storeCheckpoint~/store/checkpointcheckpoint文件路径
abortFile~/store/abortabort文件路径
maxMessageSize65536指定消息的最大大小
brokerRoleBroker的角色
ASYNC_MASTER(异步复制Master)
SYNC_MASTER(同步双写Master)
SLAVE(从节点)
flushDiskType刷盘策略
1.ASYNC_FLUSH(异步刷盘)
2.SYNC_FLUSH(同步刷盘)
sendMessageThreadPoolNums128发消息线程池数量
pullMessageThreadPoolNums128拉消息线程池数量
brokerIP1强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡 时IP地址可能读取错误
服务启动
启动NameServer

执行nohup sh bin/mqnamesrv &命令启动nameServer，启动后使用jps命令查看若看到jvm进程表示启动成功

在这里插入图片描述

启动2个Master
# 主机A执行该命令
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
# 主机B执行该命令
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &

在这里插入图片描述

启动2个Slave
# 主机A执行该命令
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &
# 主机B执行该命令
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &

在这里插入图片描述

JolyouLu
关注
专栏目录
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 635
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
RocketMq： Linux环境-单机部署和主从集群部署
喜欢历史的码农
12-05 689
说明：rocketmq需要jdk环境。（1）下载jdk安装包https://www.oracle.com/technetwork/java/javase/archive-139210.html 下载jdk，这边选择的是jdk-8u144-linux-x64.tar.gz（2）下载rocketmq安装包http://rocketmq.apache.org/dowloading/releases/ 下载RocketMQ，这边选择的版本是rocketmq-all-4.7.0-bin-release.zip（1）上
RocketMQ集群部署
wangqingjia的博客
06-22 9647
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ 集群部署
weixin_34250709的博客
04-04 241
RocketMQ介绍概述Apache RocketMQ是一个具有低延迟、高性能和高可靠性、万亿级容量，同时具备灵活的、可伸缩性强的分布式消息流处理平台，它由四个部分组成:name servers, brokers, producers 和 consumers。它们所有部分都可以水平扩展避免单点故障，就像上图所示。名称服集群务 NameServer clusterNameSer...
Linux安装部署RocketMQ
SToNE的博客
11-09 1556
Linux安装部署RocketMQ引言安装步骤1. 安装JAVA2. 安装RocketMQ3. 安装Maven4. 编译RocketMQ5. 启动RocketMQ6. 测试RocketMQ7. 关闭 RocketMQ自启动 RocketMQ 引言 阿里巴巴其中一个核心分布式技术是RocketMq ，作为一款分布式的消息中间件，经过了淘宝双十一的洗礼，在功能和性能上远超过activeMq 1.要知道RocketMQ原生就是支持分布式的，而ActiveMQ原生存在单点性。 2.RocketMQ可以保证严格的
Linux部署rocketmq和可视化客户端
m0_60028455的博客
05-26 2173
镜像下载、域名解析、时间同步请点击 阿里云开源镜像站 部署rocketmq和可视化客户端 一、 服务器资源 服务名称：Linux服务器 IP：[请查看资源分配文档] 操作系统：CentOS 7.8 x64 二、rocketmq安装 2.1下载 下载地址：rocketmq.apache.org/dowloading/… 这里，咋们下载4.8.0版本 2.2、将压缩包放到 tools目录下并解压 把rocketmq-all-4.8.0-bin-release.zip上传到/opt/tools目录下并解压并
RocketMQ简介以及双Master模式的配置
u014182745的专栏
08-14 3170
1、RocketMQ介绍 （最开始RocketMQ是阿里研究出来的，在2016-11-28捐赠给了开源软件基金会Apache。）1.1. 简介 RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点：能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 选用理由：  强调集群无单点，可扩展，任意一点高可用，水平可扩
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
RocketMQ集群安装部署
08-15
RocketMQ集群安装部署 一步一步讲述RocketMQ的安装部署和测试过程。
rocketmq 集群部署
linxi7的博客
05-11 3087
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
部署rocketmq集群（2主2从异步）
qq_18256741的博客
12-21 393
在centos7上部署rocketmq集群
liunx安装rocketmq docker
08-21
docker run -d --name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=127.0.0.1:9876" -p 10911:10911 -p 10909:10909 -v /opt/rocketmq/data:/root/rocketmq/data -v /opt/rocketmq/logs:/root/rocketmq/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JolyouLu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值