RocketMQ-集群搭建

已于 2023-12-03 22:02:08 修改
阅读量1.2k 收藏 20
点赞数 17
文章标签： rocketmq java
于 2023-12-01 11:59:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58482311/article/details/134724165
版权

搭建RocketMQ可视化管理服务

RocketMQ的社区就提供了一个图形化的管理控制台Dashboard，可以用可视化的方式直接观测并管理RocketMQ的运行过程。

Dashboard服务并不在RocketMQ的运行包中，需要到RocketMQ的官网下载页面单独下载。

这里只提供了源码，并没有提供直接运行的jar包。将源码下载下来后，需要解压并进入对应的目录，使用maven进行编译。

mvn clean package -Dmaven.test.skip=true

注意：上面的打包命令要在Linux环境下运行，在windows环境下打包报错

编译完成后，在源码的target目录下会生成可运行的jar包rocketmq-dashboard-1.0.0.jar

接下来将这个jar包移动到/app/rocketmq/rocketmq-dashboard目录下

在jar包所在的目录下创建一个application.properties配置文件，在配置文件中做如下配置：

rocketmq.config.namesrvAddr=你的公网IP:9876

这个配置文件中更多的配置选项，可以参考dashboard源码当中的application.properties配置文件

应用启动完成后，会在服务器上搭建起一个web服务，我们就可以通过访问http://你的公网IP:8080查看到管理页面，云服务要在安全组开放8080端口

升级分布式集群

RocketMQ的分布式集群基于主从架构搭建。在多个服务器组成的集群中，指定一部分节点作为Master节点，负责响应客户端的请求。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。

防止单点故障问题，增加从节点备份数据，注意这里的从节点还不能选举为主节点

整个集群方案：

接下来准备三台相同的Linux服务器，搭建RocketMQ的分布式集群。为了更清晰的描述这三台服务器上的操作，给每个服务器指定一个机器名。

cat /etc/hosts
192.168.232.128 worker1
192.168.232.129 worker2
192.168.232.130 worker3

搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。预备的集群规划情况如下：（同一组主从节点放在不同机器上，防止机器宕机导致数据丢失，生产上也是这样做的）

机器名nameServer服务部署broker服务部署
worker1nameServer
worker2nameServerbroker-a,broker-b-s
worker3nameServerbroker-a-s,broker-b

第一步：部署nameServer服务。

在三台服务器上都分别部署nameServer服务即可，启动命令简单

nameServer可以修改端口号（默认9876），在conf下面添加配置文件namesrv.properties

# namesrv.properties文件内容
listenPort=9896

# 启动命令加上 -c 指向当前配置文件生效
mqnamesrv -c ../namesrv.properties

# linux启动命令：
nohup bin/mqnamesrv &
# windows启动命令，进入bin目录执行
start mqnamesrv.cmd

第二步：对Broker服务进行集群配置。

这里需要修改RocketMQ的配置文件，对broker服务做一些集群相关的参数部署。在RocketMQ运行包的conf目录下，提供了多种集群的部署配置文件模板。

  • 2m-noslave: 2主无从的集群参考配置。这种集群存在单点故障。

  • 2m-2s-async和2m-2s-sync: 2主2从的集群参考配置。其中async和sync表示主节点与从节点之间是同步同步还是异步同步。

  • dledger: 具备主从切换功能的高可用集群。集群中的节点会基于Raft协议随机选举出一个Leader，其作用类似于Master节点。其他的节点都是follower，其作用类似于Slave节点。

我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。

1、配置第一组broker-a服务

在worker2机器上配置broker-a的MASTER服务，修改conf/2m-2s-async/broker-a.properties。示例配置：

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#凌晨4点开始删除文件
deleteWhen=04
#日志时间过多久删除
fileReservedTime=120
#存储路径
storePathRootDir=/app/rocketmq/store
storePathCommitLog=/app/rocketmq/store/commitlog
storePathConsumeQueue=/app/rocketmq/store/consumequeue
storePathIndex=/app/rocketmq/store/index
storeCheckpoint=/app/rocketmq/store/checkpoint
abortFile=/app/rocketmq/store/abort
#Broker 的角色
brokerRole=ASYNC_MASTER
#异步刷盘，消息到达broker后是否立刻写入磁盘
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911

重点关注的属性介绍：

  • brokerClusterName: 集群名。RocketMQ会将同一个局域网下所有brokerClusterName相同的服务自动组成一个集群，这个集群可以作为一个整体对外提供服务

  • brokerName: Broker服务名。同一个RocketMQ集群当中，brokerName相同的多个服务会有一套相同的数据副本。同一个RocketMQ集群中，是可以将消息分散存储到多个不同的brokerName服务上的。

  • brokerId: RocketMQ中对每个服务的唯一标识。RocketMQ对brokerId定义了一套简单的规则，master节点需要固定配置为0，负责响应客户端的请求。slave节点配置成其他任意数字，负责备份master上的消息。

  • brokerRole: 服务的角色。这个属性有三个可选项：ASYNC_MASTER，SYNC_MASTER和SLAVE。其中，ASYNC_MASTER和SYNC_MASTER表示当前节点是master节点，目前暂时不用关心他们的区别。SLAVE则表示从节点。

  • namesrvAddr: nameserver服务的地址。nameserver服务默认占用9876端口。多个nameserver地址用；隔开。

接下来在worekr3上配置broker-a的SLAVE服务。修改conf/2m-2s-async/broker-a-s.properties。示例配置：

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/app/rocketmq/storeSlave
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
storePathIndex=/app/rocketmq/storeSlave/index
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
abortFile=/app/rocketmq/storeSlave/abort
#Broker 的角色
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11011

注意brokerClusterName和brokerName两个参数需要与worker2上对应的broker-a.properties配置匹配。brokerId配置0以外的数字。然后brokerRole配置为SLAVE。

2、配置第二组borker-b服务

与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。修改conf/2m-2s-async/broker-b.properties文件，配置示例：

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/app/rocketmq/store
storePathCommitLog=/app/rocketmq/store/commitlog
storePathConsumeQueue=/app/rocketmq/store/consumequeue
storePathIndex=/app/rocketmq/store/index
storeCheckpoint=/app/rocketmq/store/checkpoint
abortFile=/app/rocketmq/store/abort
#Broker 的角色
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911

在worker2上配置broker-b的SLAVE服务。修改conf/2m-2s-async/broker-b-s.properties文件，配置示例：

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/app/rocketmq/storeSlave
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
storePathIndex=/app/rocketmq/storeSlave/index
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
abortFile=/app/rocketmq/storeSlave/abort
#Broker 的角色
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11011

配置过程需要注意的配置项：

  • store开头的一系列配置：表示RocketMQ的存盘文件地址。在同一个机器上需要部署多个Broker服务时，不同服务的存储目录不能相同。

  • listenPort：表示Broker对外提供服务的端口。这个端口默认是10911。在同一个机器上部署多个Broker服务时，不同服务占用的端口也不能相同。

  • 如果你使用的是多网卡的服务器，比如阿里云上的云服务器，那么就需要在配置文件中增加配置一个brokerIP1属性，指向所在机器的外网网卡地址。

3、启动Broker服务

集群配置完成后，启动Broker服务。注意启动时需要增加-c参数，指向修改的配置文件。

在worker2上启动broker-a的master服务和broker-b的slave服务：

cd /app/rocketmq/rocketmq-all-4.9.5-bin-release
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-a.properties &
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-b-s.properties &

在worker3上启动broker-b的master服务和broker-a的slave服务：

cd /app/rocketmq/rocketmq-all-4.9.5-bin-release
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-b.properties &
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-a-s.properties &

4、检查集群服务状态

服务的启动状态，可以用jps指令以及nohup.out日志文件进行跟踪。另外在RocketMQ的bin目录下，提供了mqadmin指令，可以通过命令行的方式管理RocketMQ集群。

# 查看集群broker状态
mqadmin clusterList

注意：执行这个指令需要在机器上配置了NAMESRV环境变量

直接使用mqadmin指令会给出所有管理命令，可以通过mqadmin help + 具体指令查看使用方法

Dashboard也是查看集群服务状态的工具。只需要在之前搭建Dashboard时创建的配置文件中增加指定nameserver地址即可。（具体配置参见源码中的配置文件）

rocketmq: 
  config: 
    namesrvAddrs: 
      - worker1:9876 
      - worker2:9876
      - worker3:9876

在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题

为什么要设计这种主从备份，但是不具备主从切换的集群？

参考kafka的设计，主从切换期间可能导致数据丢失，解决办法简单暴力，不切换就好了

升级高可用集群

主从架构的RocketMQ集群，由于给每个broker添加Slave备份，有效防止单点故障问题防止数据丢失。但是这种主从架构仍然存在问题。

当RocketMQ集群中的broker宕机后，整个集群会自动进行broker状态感知。后续客户端的各种请求，依然可以转发到其他正常的broker上。只不过，原本保存在当前broker上的消息，就无法正常读取了，需要等到当前broker服务重启后，才能重新被消息消费者读取。

当一个broker上的服务宕机后，我们可以从对应的slave服务上找到broker上所有的消息。但是很可惜，主从架构中各个服务的角色都是固定了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。

RocketMQ提供的Dledger集群，就是具备角色自动转换功能的高可用集群。

整个集群结构如下图所示：

参考文章：Windows部署RocketMQ(超详细)-CSDN博客

有梦想的年轻人6174
关注
  • 17
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ集群部署
wangqingjia的博客
06-22 9555
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2942
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
RocketMQ集群搭建
最新发布
郭靖宇的个人博客
06-20 639
下载地址：https://github.com/apache/rocketmq-externals。下载地址：https://rocketmq.apache.org/download/服务器：node1（192.168.200.121）服务器：node2（192.168.200.122）服务器：node2（192.168.200.122）服务器：node3（192.168.200.123）上启动master1-slave1和master2。上启动master2-slave1。使用unzip解压命令。
RocketMQ 集群搭建
涛涛之海
09-12 742
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
RockerMQ集群部署
Java.L的博客
02-24 2218
讲解RockerMQ集群部署
RocketMQ的集群搭建
xajh_czbk的博客
02-06 84
无
rocketmq-console.rar
12-10
RocketMQ Console是其官方提供的一个图形化管理工具，用于方便运维人员监控和管理RocketMQ集群的状态。这个"rocketmq-console.rar"文件正是RocketMQ Console的源码安装包，可以帮助我们搭建和定制自己的RocketMQ...
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。在这篇文章中，我们将使用 Docker-Compose 搭建一个 RocketMQ 5.1.0 集群，包括 NameServer、...
最新版 rocketmq-all-4.8.0-bin-release.zip
01-04
- Producer：消息生产者，负责生成并发送消息到RocketMQ集群。 - Consumer：消息消费者，订阅并消费来自RocketMQ的消息。 3. **消息模型**： - Push模式：消费者主动从Broker拉取消息。 - Pull模式：Broker推送...
rocketmq安装包，rocketmq-all-5.1.3-bin-release
08-22
RocketMQ是阿里巴巴开源...通过"rocketmq-all-5.1.3-bin-release"这个压缩包，你可以得到完整的RocketMQ运行环境，包括启动脚本、配置文件、客户端SDK等，从而快速搭建和管理RocketMQ集群，实现高效的消息传递和处理。
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3118
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
Rocketmq的集群搭建
wssc63262的博客
07-27 1825
居于RocketMQ4.9.4搭建集群
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2400
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
RocketMQ第一课-快速实战以及集群架构搭建
qq_39944028的博客
07-25 2351
​ RocketMQ是阿里巴巴开源的一个消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。​ 早期阿里使用ActiveMQ，但是，当消息开始逐渐增多后，ActiveMQ的IO性能很快达到了瓶颈。于是，阿里开始关注Kafka。但是Kafka是针对日志收集场景设计的，他的高级功能并不是很贴合阿里的业务场景。
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
2401_83974607的博客
05-09 1449
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
rocketmq存储结构_rocketmq-5：生产级rocketmq集群部署
05-31
RocketMQ的存储结构由Broker和NameServer共同组成。Broker节点上包含了消息存储模块，主要是存储Topic和对应的消息队列，同时还有消息的消费进度和消费者组信息等。而NameServer节点则存储了Broker集群的整体信息，包括Broker的路由信息、Topic的配置信息等。 在RocketMQ集群部署时，需要先搭建NameServer集群。NameServer集群通常由3~5台服务器组成，可以保证高可用性。接下来需要搭建Broker集群，每个Broker节点需要配置相同的Broker名称、集群名称和NameServer地址。同时需要配置相应的Topic和消费者组等信息。在部署完成后，Producer可以向任意一个Broker发送消息，而Consumer则需要从NameServer获取对应Topic的路由信息，然后连接到对应的Broker节点进行消息消费。 需要注意的是，RocketMQ的消息存储模块采用的是基于文件的存储方式，因此需要配置足够的磁盘空间。同时，RocketMQ还支持消息的定时发送和延迟消费等特性，这些特性也需要根据实际业务需求进行配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值