RockerMQ集群部署,实现高可用

已于 2023-02-28 08:08:45 修改
阅读量860 收藏 3
点赞数
文章标签： java 服务器 大数据
于 2023-02-27 22:50:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/monkey_yuan19/article/details/129251828
版权

一、Broker集群模式

根据Broker集群中各个节点间关系的不同，Broker集群可以分为以下几类：

1、单Master：

只有一个broker（其本质上就不能称为集群）。这种方式也只能是在测试时使用，生产环境下不能使用，因为存在单点问题。
多Master：broker集群仅由多个master构成，不存在Slave。同一Topic的各个Queue会平均分布在各个master节点上。
优点： 配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
缺点： 单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅（不可消费），消息实时性会受到影响。

2、多Master多Slave模式异步复制

broker集群由多个master构成，每个master又配置了多个slave（在配置了RAID磁盘阵列的情况下，一个master一般配置一个slave即可）。master与slave的关系是主备关系，即master负责处理消息的读写请求，而slave仅负责消息的备份与master宕机后的角色切换。
异步复制即前面所讲的复制策略中的异步复制策略，即消息写入master成功后，master立即向producer返回成功ACK，无需等待slave同步数据成功。
该模式的最大特点之一是，当master宕机后slave能够自动切换为master。不过由于slave从master的同步具有短暂的延迟（毫秒级），所以当master宕机后，这种异步复制方式可能会存在少量消息的丢失问题。

3、多Master多Slave模式同步双写

该模式是多Master多Slave模式的同步复制实现。所谓同步双写，指的是消息写入master成功后，master会等待slave同步数据成功后才向producer返回成功ACK，即master与slave都要写入成功后才会返回成功ACK，也即双写。
该模式与异步复制模式相比，优点是消息的安全性更高，不存在消息丢失的情况。但单个消息的RT略高，从而导致性能要略低（大约低10%）。
该模式存在一个大的问题：对于目前的版本，Master宕机后，Slave不会自动切换到Master。

二、集群搭建实践

1、集群架构

这里要搭建一个双主双从异步复制的Broker集群。为了方便，这里使用了两台主机来完成集群的搭建。这两台主机的功能与broker角色分配如下表:
在这里插入图片描述

2、克隆生成rocketmqos1

克隆rocketmqOS主机，并修改配置。指定主机名为rocketmqOS1。

3、修改rocketmqos1配置文件

配置文件位置：要修改的配置文件在rocketMQ解压目录的 conf/2m-2s-async目录中
修改 broker-a.properties ，将该配置文件内容修改为如下：

# 指定整个broker集群的名称，或者说是RocketMQ集群的名称
brokerClusterName=DefaultCluster
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群
brokerName=broker-a
# master的brokerId为0
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点
deleteWhen=04
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除
fileReservedTime=48
# 指定当前broker为异步复制master
brokerRole=ASYNC_MASTER
# 指定刷盘策略为异步刷盘
flushDiskType=ASYNC_FLUSH
# 指定Name Server的地址
namesrvAddr=10.70.20.11:9876;10.70.20.12:9876

修改broker-b-s.properties，将该配置文件内容修改为如下

brokerClusterName=DefaultCluster
# 指定这是另外一个master-slave集群
brokerName=broker-b
# slave的brokerId为非0
brokerId=1
deleteWhen=04
fileReservedTime=48
# 指定当前broker为slave
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876
# 指定Broker对外提供服务的端口，即Broker与producer与consumer通信的端口。默认10911。由于当前主机同时充当着master1与slave2，而前面的master1使用的是默认端口。这里需要将这两个端口加以区分，以区分出master1与slave2
listenPort=11911
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与slave2，master1使用的是默认路径，这里就需要再指定一个不同路径
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

4、克隆生成rocketmqOS2

克隆rocketmqOS1主机，并修改配置。指定主机名为rocketmqOS2。

5、修改rocketmqOS2配置文件

对于rocketmqOS2主机，同样需要修改rocketMQ解压目录的conf目录的子目录2m-2s-async中的两个配置文件。

修改broker-b.properties：将该配置文件内容修改为如下:

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=10.70.20.12:9876;10.70.20.11:9876

修改broker-a-s.properties：将该配置文件内容修改为如下

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876
listenPort=11911
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

6、启动服务器
启动NameServer集群

分别启动rocketmqOS1与rocketmqOS2两个主机中的NameServer。启动命令完全相同。

nohup sh bin/mqnamesrv &

tail -f ~/logs/rocketmqlogs/namesrv.log

启动两个Master

(分别启动rocketmqOS1与rocketmqOS2两个主机中的broker master。注意，它们指定所要加载的配置文件是不同的。)

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &

tail -f ~/logs/rocketmqlogs/broker.log

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &

tail -f ~/logs/rocketmqlogs/broker.log

启动两个Slave

(分别启动rocketmqOS1与rocketmqOS2两个主机中的broker slave。注意，它们指定所要加载的配置文件是不同的.)

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &

tail -f ~/logs/rocketmqlogs/broker.log

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &

tail -f ~/logs/rocketmqlogs/broker.log

7、测试

按照这篇博客的方式进行测试即可
链接: https://blog.csdn.net/monkey_yuan19/article/details/129170174

点进集群里，显示四台即表示配置集群成功。

monkey_yuan19
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ集群部署
wangqingjia的博客
06-22 9532
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2932
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
大数据最全MQ高可用相关设置(2)，2024年最新大数据开发面试超详细知识点
最新发布
2401_84185951的博客
05-11 723
生产者设置重试次数。retries>=3，增加重试次数以保证消息的不丢失；三、消费者：通过在Consumer端设置“enable.auto.commit”属性为false后，在代码中手动调用KafkaConsumer实例的方法提交,这里指的是同步阻塞commit消费的偏移量，等待Broker端的返回响应，需要注意Broker端在对commit请求做出响应之前，消费端会处于阻塞状态，从而限制消息的处理性能和整体吞吐量以确保消息能够正常被消费。
RockerMQ集群部署
Java.L的博客
02-24 2210
讲解RockerMQ集群部署
四选一？这-4-种高可用-RocketMQ-集群搭建方案，我推荐最后一种
03-14 613
其它面试题（springboot、mybatis、并发、java中高级面试总结等）链图片转存中…(img-RBn5MKDk-1710414794244)][外链图片转存中…(img-b5oW2gDu-1710414794244)]本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。
【有料】4 种高可用 RocketMQ 集群搭建方案！
daobuxinzi的博客
10-20 1365
假设某个Topic的每秒十万消息的写入， 可以增加 Master Broker 然后十万消息的写入会分别分配到不同的 Master Broker ，如有5台 Master Broker 那每个 Broker 就会承载2万的消息写入。每台 NameServer 都会有完整的集群路由信息，包括所有的 Broker 节点的信息，我们的数据信息等等。数据都是分布式存储的，每个Topic的数据都会分布在不同的 Broker 中，如果需要存储更多的数据，只需要增加 Master Broker 就可以了。
rockermq的安装和配
12-24
如果需要高可用，可以启动多个节点并配置集群。 三、 基本配置 1. 修改配置文件： 在RocketMQ的conf目录下，你可以找到默认的配置文件如`broker.conf`，根据实际需求进行修改。例如，调整Broker的端口号、日志路径...
rockermq3.4.6安装包(含rockermq-console)
09-06
RocketMQ是阿里巴巴开源的一款分布式消息中间件，广泛应用于大数据领域，提供高可用、高可靠的消息传输服务。在本文中，我们将详细探讨RockeMQ 3.4.6版本的安装和部署过程，以及如何利用其控制台（rockermq-console...
RockerMQ(寻坑集)—那些年我们一起踩过的坑—rocketMQ部署流程
01-07
前言： 最近在写项目中，需要使用rocketmq作为消息中间件，这还是我第一次使用rocketmq消息中间件，但没想到这个使用过程却是困难重重，以下就是我们在这次使用rocketmq中遇到的问题总结。 环境：在阿里云上安装...
rockermq 可视化界面
08-24
rockermq 可视化界面
微服务部署前中间件部署Mysql,Redis,ES,Kibana,Nacos,RockerMQ,Sentinel,Skywalk
09-21
6. RockerMQ：是阿里巴巴开源的分布式消息中间件，支持高并发、低延迟的消息传输。在微服务架构中，RockerMQ作为服务间通信的桥梁，处理大量并发请求，保证消息的可靠传递，提高系统的解耦性和容错性。 7. Sentinel...
Centos7 部署 RocketMQ 高可用集群
专注基础架构领域
12-02 1561
Centos7 部署 RocketMQ 高可用集群。将原来的配置内容全部注释掉（之后的properties配置文件都得这样）发送成功后我们可以到控制台查看消息和消费情况等信息。10.0.61.12上操作。10.0.61.21上操作。10.0.61.21上操作。10.0.61.22上操作。10.0.61.22上操作。10.0.61.21上操作。10.0.61.21上操作。
【RocketMQ】集群的搭建与高可用
热门推荐
morris
07-30 1万+
RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。Master和Slave的区别在Broker的配置文件中，参数brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是Producer只能和Master角色的Broker连接写入消息；...
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1242
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
RocketMQ5.0 Cluster集群部署详解及测试
希的博客
02-15 964
MQ）是一种跨进程的通信机制，用于传递消息。通俗点说，就是一个先进先出的数据结构MQ的应用场景异步解耦最常见的一个场景是用户注册后，需要发送注册邮件和短信通知，以告知用户注册成功。用户才能使用账号登录。但是对于用户来说，注册功能实际只需要注册系统存储用户的账户信息后，该用户便可以登录，而后续的注册短信和邮件不是即时需要关注的步骤。所以实际当数据写入注册系统后，注册系统就可以把其他的操作放入对应的消息队列 MQ中然后马上返回用户结果，由消息队列 MQ异步地进行这些操作。
【部署】【四】RocketMQ 双节点主从(n2m2s2) Docker 部署
梁召峰 的博客
01-24 1176
查看 RocketMQ 系列文章目录 环境准备和最终目标
RocketMQ(二)—高可用集群篇
敲代码的小小酥的博客
07-09 787
一、集群的模式 首先要明确两个概念: Master:主节点，可以进行读和写操作。 Slave:从节点，只可以读，不进行写操作。 也就是 Producer 只能和 Master 角色的 Broker 连接写入消息；Consumer 可以连接 Master 角色的 Broker，也可以连接 Slave 角色的 Broker 来读取消息。 Master 和 Slave 的区别：在 Broker 的配置文件中，参数 brokerId 的值为 0 表明这个 Broker 是 Master，大于 0 表明这个 Brok
【RocketMQ】RocketMQ 5.1.0版本Proxy集群模式部署实践
浩瀚宇宙的一粒尘埃
03-28 6674
为了支持长远的云原生发展，RocketMQ引入了一个全新的模块：Proxy，官方对RocketMQ客户端提供了独立的开源项目：https://github.com/apache/rocketmq-clients，如果要使用这个新的客户端，必须要使用Proxy作为endpoint。
RocketMQ 集群搭建
涛涛之海
09-12 738
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
rockerMq 结合SSE实现实时通讯
04-11
RockerMQ是一个开源的分布式消息中间件，而SSE（Server-Sent Events）是一种用于实现服务器向客户端推送数据的Web技术。结合RockerMQ和SSE可以实现实时通讯的功能。 具体实现步骤如下： 1. 在RockerMQ中创建一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值