RocketMQ集群环境部署

最新推荐文章于 2024-10-11 09:00:57 发布
最新推荐文章于 2024-10-11 09:00:57 发布
阅读量850 收藏 2
点赞数
分类专栏： Spring 文章标签： java-rocketmq rocketmq linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43456605/article/details/130722226
版权
本文详细介绍了如何在三台虚拟机上搭建RocketMQ集群，包括准备环境、修改主机名以实现互访、配置SSH免密登录、配置RocketMQ的2主2从异步刷盘集群，以及启动集群的步骤。每个节点的角色和配置文件都进行了说明。
摘要由CSDN通过智能技术生成

文章目录

1. 准备环境

  1. 准备好三台虚拟机，下面是我的虚拟机的一些基本信息
名称ip地址
worker010.117.33.135
worker110.117.39.202
worker210.117.9.52
  1. 三台虚拟机都已经部署了rabbitMQ以及maven和jdk环境
  2. 防火墙都已经关闭了

2. 修改主机名

通过修改主机名，三台虚拟机可以通过主机名来互相访问了（三台主机都要配置）

vim /etc/hosts
10.117.33.135 worker0
10.117.39.202 worker1
10.117.9.52   worker2

在这里插入图片描述

3. 免密登录配置

使用ssh-keygen生成密钥（三个机器都要生成）

ssh-keygen

在这里插入图片描述
将生成的密钥进行互相分发

先分发worker0的密钥

ssh-copy-id worker0
ssh-copy-id worker1
ssh-copy-id worder2

同样的操作，将worker1以及worker2的密钥也进行一个分发

在这里插入图片描述

测试一下看是否可以进行免密登录：这里我使用worker1来登录worker2

ssh worker2

可以发现免密登录成功

在这里插入图片描述

4. 配置RocketMQ集群

使用conf/2m-2s-async下的配置文件搭建一个2主2从的异步刷盘集群，集群的设计情况如下：

机器名nameserver节点部署broker节点部署
worker0nameServer
worker1nameServerbroker-a,broker-b-s
worker2nameServerbroker-b,broker-a-s

可以看出上面的配置中，worker0作为nameserver服务器（三个机器都部署了nameserver），woker1与worke2在不同的集群中互为主从节点

配置方式介绍：conf目录下存在三种配置方式

  • 2m-2s-async：2主2从异步刷盘（吞吐量较大，但是消息可能会丢失）
  • 2m-2s-sync：2主2从同步刷盘（吞吐量会下降，但是消息更安全）
  • 2m-noslave：2主无从（单点故障问题）。然后还可以直接配置broker.conf，进行单点环境部署
  • dleger就是用来实现主从切换的，集群中的节点会基于Raft协议随机选择一个leader，其它的都是follows，通常正式环境都会采用这种方式来搭建集群

5. 搭建RocketMQ集群

首先保证RocketMQ环境在三台机器上都已经安装了，没有安装的参考我这篇博客

  • 进入worker1机器的RocketMQ的目录下的2m-2s-async的目录下

在这里插入图片描述

根据前面的规划，worker2作为broker-a的主节点，作为broker-b的从节点

  • 配置worker1

首先配置broker-a.properties：即进行brokera的主节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.a
#brokerId,0表示是master，大于0表示是Slave
brokerId=0
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStore
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStore/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStore/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStore/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

然后配置broker-b-s.properties：即进行brokerb的从节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.b
#brokerId,0表示是master，大于0表示是Slave
brokerId=1
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStoreslave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStoreslave/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStoreslave/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStoreslave/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStoreslave/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStoreslave/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

到此worker1机器就配置完毕了

  • 配置worker2

进入worker2机器的RocketMQ的目录下的2m-2s-async的目录下

首先配置broker-b.properties：即进行brokerb的主节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.b
#brokerId,0表示是master，大于0表示是Slave
brokerId=0
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStore
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStore/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStore/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStore/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

然后配置broker-a-s.properties：即进行brokera的从节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.a
#brokerId,0表示是master，大于0表示是Slave
brokerId=1
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStoreslave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStoreslave/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStoreslave/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStoreslave/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStoreslave/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStoreslave/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

worker2就到此配置完了

6. 启动集群

  • 启动三个机器的nameserver服务（在bin目录下）
nohup sh ./mqnamesrv &
#观察日志查看是否启动成功
cat -f nohup.out
  • 在worker1上启动broker-a节点和broker-b-s节点
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &
#查看日志观察是否启动成功
cat -f nohup.out

在这里插入图片描述

  • 在worker2上启动broker-a-s节点和broker-b节点
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
#查看日志观察是否启动成功
cat -f nohup.out

集群搭建完成

jakiechaipush
关注
专栏目录
RocketMQ集群部署
wangqingjia的博客
06-22 9676
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
rocketmq 集群部署
linxi7的博客
05-11 3113
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
搭建RocketMQ集群-详细版
最新发布
weixin_42544499的博客
10-11 871
RocketMQ集群搭建详细流程
RocketMQ(2)---Docker部署RocketMQ集群
后端元宇宙
02-20 4551
RocketMQ(2)—Docker集群部署RocketMQ =前言= 1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。 2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。 之所以选用Docker部署主要还是考虑 ：通过Docker部署...
RockerMQ集群部署
Java.L的博客
02-24 2292
讲解RockerMQ集群部署
RocketMQ 集群部署
weixin_50395990的博客
04-26 224
RocketMQ 集群部署 系统部署架构，使用的模式是 2m-2s-sync broker 机器信息 Master 1：172.18.24.5 Slave 1：172.18.24.6 Master 2：172.18.24.7 Slave 2：172.18.24.8 namesrv 机器信息（这里复用了 3 台主机做 Name Server。正式生产环境应该要考虑配置单独的 3 台机器做 Name Server） Name Server 1：172.18.24.5 Name Ser...
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
RocketMQ集群安装部署
08-15
综上所述，部署RocketMQ集群需要考虑的方面包括集群架构规划、环境准备、软件下载安装、文件路径配置、配置文件调整和测试验证。在部署过程中，需要根据实际需求对配置文件进行适当的修改，以确保RocketMQ集群能够...
rocketmq集群部署
08-11
### RocketMQ集群部署详解 #### 一、RocketMQ概述 RocketMQ是一款开源的分布式消息中间件，具有高吞吐量、低延迟、高可靠性的特点，适用于多种应用场景，如消息推送、日志收集、分布式事务处理等。在企业级应用中...
Centos6下RocketMQ集群部署记录
shangyuanlang的博客
07-28 835
一、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型，RocketMQ也是这样的设计，简单说来RocketMQ具有以下特点： 1）是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 2）Producer、Consumer、队列都可以分布式。 3）P...
RocketMQ集群部署结构
summer_fish的专栏
08-23 702
RocketMQ四大核心组成部分：NameServer、Broker、Producer以及Consumer四部分；各组件通讯Tip：我们可以看到RocketMQ啥都是集群部署的，这是他吞吐量大，高可用的原因之一，集群的模式也很花哨，可以支持多master 模式、多master多slave异步复制模式、多 master多slave同步双写模式。NameServer是一个功能齐全的服务器，其角色类似Dubbo中的Zookeeper，但NameServer与Zookeeper相比更轻量。主要是因为每个NameSe
RocketMQ（二）——集群部署
热门推荐
张连海
08-02 1万+
在Metaq1.x/2.x的版本中，分布式协调采用的是Zookeeper，而RocketMQ自己实现了一个NameServer，所以RocketMQ启动时，先启动对应的NameServer。 集群部署方式 RocketMQ部署比较灵活，推荐几种Broker的集群部署方式。 1. 单个Master 很显然，这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议
RocketMQ学习四-集群部署
qq_35930102的博客
12-05 1562
1 集群部署理论 1.1 数据复制与刷盘策略 1.1.1 复制策略 复制策略是broker的master与slave间的数据同步方式，分为同步复制和异步复制 同步复制：消息写入master后，master会等slave同步数据成功后才向procedure返回ACK 异步复制：消息写入master后，master会直接向procedure返回ACK，无需等待slave同步完成 1.1.2 刷盘策略 刷盘策略是broker中的消息落盘方式，即消息发送到broker内存后消息持久化到磁盘的方式，分为同步刷盘
rocketMQ集群部署
u014312858的专栏
11-29 2040
rocketMQ集群部署 rocketMQ安装包下载 wget https://github.com/alibaba/RocketMQ/archive/v3.5.8.tar.gz //注：到github下载为未编译的包 //需要自行编译： 解压： tar –zxvf RocketMQ. 3.5.8.tar.gz 到解压目录进行编译： sh install.sh 编译需要的环境安装
RocketMQ集群部署与组件详解
Name Server是RocketMQ的核心组件之一，它是一个轻量级的节点，主要负责维护Topic的路由信息，而不需要在节点间进行状态同步，因此可以轻松实现集群部署。 接下来，Broker是RocketMQ中的另一个关键组件，分为Master...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值