RocketMQ集群环境部署

最新推荐文章于 2024-04-26 16:31:32 发布
最新推荐文章于 2024-04-26 16:31:32 发布
阅读量675 收藏 2
点赞数
分类专栏： Spring 文章标签： java-rocketmq rocketmq linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43456605/article/details/130722226
版权

文章目录

1. 准备环境

  1. 准备好三台虚拟机，下面是我的虚拟机的一些基本信息
名称ip地址
worker010.117.33.135
worker110.117.39.202
worker210.117.9.52
  1. 三台虚拟机都已经部署了rabbitMQ以及maven和jdk环境
  2. 防火墙都已经关闭了

2. 修改主机名

通过修改主机名，三台虚拟机可以通过主机名来互相访问了（三台主机都要配置）

vim /etc/hosts
10.117.33.135 worker0
10.117.39.202 worker1
10.117.9.52   worker2

在这里插入图片描述

3. 免密登录配置

使用ssh-keygen生成密钥（三个机器都要生成）

ssh-keygen

在这里插入图片描述
将生成的密钥进行互相分发

先分发worker0的密钥

ssh-copy-id worker0
ssh-copy-id worker1
ssh-copy-id worder2

同样的操作，将worker1以及worker2的密钥也进行一个分发

在这里插入图片描述

测试一下看是否可以进行免密登录：这里我使用worker1来登录worker2

ssh worker2

可以发现免密登录成功

在这里插入图片描述

4. 配置RocketMQ集群

使用conf/2m-2s-async下的配置文件搭建一个2主2从的异步刷盘集群，集群的设计情况如下：

机器名nameserver节点部署broker节点部署
worker0nameServer
worker1nameServerbroker-a,broker-b-s
worker2nameServerbroker-b,broker-a-s

可以看出上面的配置中，worker0作为nameserver服务器（三个机器都部署了nameserver），woker1与worke2在不同的集群中互为主从节点

配置方式介绍：conf目录下存在三种配置方式

  • 2m-2s-async：2主2从异步刷盘（吞吐量较大，但是消息可能会丢失）
  • 2m-2s-sync：2主2从同步刷盘（吞吐量会下降，但是消息更安全）
  • 2m-noslave：2主无从（单点故障问题）。然后还可以直接配置broker.conf，进行单点环境部署
  • dleger就是用来实现主从切换的，集群中的节点会基于Raft协议随机选择一个leader，其它的都是follows，通常正式环境都会采用这种方式来搭建集群

5. 搭建RocketMQ集群

首先保证RocketMQ环境在三台机器上都已经安装了，没有安装的参考我这篇博客

  • 进入worker1机器的RocketMQ的目录下的2m-2s-async的目录下

在这里插入图片描述

根据前面的规划，worker2作为broker-a的主节点，作为broker-b的从节点

  • 配置worker1

首先配置broker-a.properties：即进行brokera的主节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.a
#brokerId,0表示是master，大于0表示是Slave
brokerId=0
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStore
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStore/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStore/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStore/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

然后配置broker-b-s.properties：即进行brokerb的从节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.b
#brokerId,0表示是master，大于0表示是Slave
brokerId=1
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStoreslave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStoreslave/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStoreslave/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStoreslave/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStoreslave/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStoreslave/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

到此worker1机器就配置完毕了

  • 配置worker2

进入worker2机器的RocketMQ的目录下的2m-2s-async的目录下

首先配置broker-b.properties：即进行brokerb的主节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.b
#brokerId,0表示是master，大于0表示是Slave
brokerId=0
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=10911
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStore
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStore/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStore/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStore/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

然后配置broker-a-s.properties：即进行brokera的从节点配置

#所属集群名字，名字一样的节点在一个集群
brokerClusterName=DefaultCluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker.a
#brokerId,0表示是master，大于0表示是Slave
brokerId=1
#nameserver地址，分号分割
namesrvAddr=worker0:9876;worker1:9876;worker2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许broler自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#broker对外服务的监听端口
listenPort=11011
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留的时间点，默认48小时
fileReservedTime=120
#commitlog每个文件大小默认为1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件的磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketStoreslave
#commitlog存储路径
storePathCommitLog=/usr/local/rocketStoreslave/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/rocketStoreslave/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketStoreslave/index
#checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketStoreslave/checkpoint
#abort文件存储路径
abortFile=/usr/local/rocketStoreslave/abort
#限制消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushComsumeQueueThoroughInterval=60000
#broker的角色
#-ASYNC_MASTER异步复制Master
#-SYNC_MASTER同步双写Master
#-SLAVE
brokerRole=SLAVE
#刷盘方式
#-ASYNC_FLUSH：异步刷盘
#-SYNC_FLUSH：同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=falise
#发消息的线程池数量
#sendMessageThreadPoolNums=128
#拉消息的线程池数量
#pullMessageThreadPoolNums=128

worker2就到此配置完了

6. 启动集群

  • 启动三个机器的nameserver服务（在bin目录下）
nohup sh ./mqnamesrv &
#观察日志查看是否启动成功
cat -f nohup.out
  • 在worker1上启动broker-a节点和broker-b-s节点
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &
#查看日志观察是否启动成功
cat -f nohup.out

在这里插入图片描述

  • 在worker2上启动broker-a-s节点和broker-b节点
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &
nohup  sh ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
#查看日志观察是否启动成功
cat -f nohup.out

集群搭建完成

jakiechaipush
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2633
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
RocketMQ集群部署
wangqingjia的博客
06-22 9422
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
Linux环境下安装RocketMQ（单机、集群）
路漫漫其修远兮，吾将上下而求索
04-22 5170
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成。RocketMQ官方提供了三种集群搭建方式：2主2从异步通信方式使用异步方式进行主从之间的数据复制，吞吐量大，但可能会丢消息。使用 conf/2m-2s-async 文件夹内的配置文件做集群配置。2主2从同步通信方式使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量使用 conf/2m-2s-sync 文件夹内的配置⽂件做集群配置。2主无从方式会存在单点故障，且读的性能没有前两种方式好。
rocketmq系列资料.zip
07-17
为了帮助大家更好的学习和使用RocketMQ，因此提供相关学习文档，一起学习，资源包括 RocketMQ初步认知、RocketMQ单机环境搭建、RocketMQ集群部署实践、基于myeclipse的RocketMQ--Demo实践、基于RocketMQ--Demo项目的测试和原理说明
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
RockerMQ集群部署
Java.L的博客
02-24 2164
讲解RockerMQ集群部署
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3032
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
RocketMQ【3】Rocketmq集群部署（多master多slave）异步复制
wangleleb的博客
03-06 447
一个master对应一个slave，master负责读写，slave负责数据的备份不参与读写，这里属于是主备。一台机器需要同时配置主备。由于异步复制的优点，所以一台机器需要有master1和slave2，另一台机器徐瑶瑶master2和slave1，这样在一台机器挂了之后，剩下的一台机器可以直接将从节点转换为主节点。这里初步描述如何启动控制台，其他内容。
RocketMQ--Dledger集群搭建
L2111533547的博客
07-01 4533
引言：一直以来，在多地多中心的消息发送场景下，如何保障数据的完整性和一致性是一个技术难点。Dledger 作为一个轻量级的 Java Library，它的作用就是将 Raft 有关于算法方面的内容全部抽象掉，开发人员只需要关心业务即可在 RocketMQ 4.5 版本之前，RocketMQ 只有 Master/Slave 一种部署方式，一组 broker 中有一个 Master ，有零到多个 Slave，Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式，
rocketmq-operator:Apache RocketMQ运算符
05-28
RocketMQ运算符 目录 创建RocketMQ集群 验证数据存储 验证主机路径存储 验证NFS存储 水平刻度 名称服务器群集规模 经纪人集群规模乱序消息场景中的高级中间人 主题转移 清洁环境 发展 先决条件 建造 操作员 代理和名称服务器映像 概述 RocketMQ Operator将管理Kubernetes集群上部署的RocketMQ服务实例。 它是使用Operator SDK开发的，该SDK是Operator Framework的一部分。 快速开始 部署RocketMQ运营商 在Kubernetes集群主节点上克隆项目： $ git clone https://github.com/apache/rocketmq-operator.git $ cd rocketmq-operator 要在您的Kubernetes集群上部署RocketMQ Operator，请运行以下脚本
apache-rocketmq-on-aws：此解决方案可轻松在aws帐户上设置Apache Rocketmq ec2集群
02-10
AWS云上的Apache RocketMQ 此解决方案提供一键式cloudformation部署，以在AWS环境上设置高可用性Apache RocketMQ集群。 Apache RocketMQ是一个统一的消息传递引擎以及轻量级的数据处理平台。 AWS上的RocketMQ解决方案使客户能够在AWS云中快速部署RocketMQ集群。 基本群集设置（例如EC2实例类型）也可以在部署期间进行配置。 快速入门提供了两个部署选项： 在AWS上将Apache RocketMQ部署到新的虚拟私有云（VPC）中 将Apache RocketMQ部署到AWS上的现有VPC 您也可以将AWS CloudFormation模板用作自己实施的起点。 建筑学 有关体系结构的详细信息，最佳实践，分步说明和自定义选项，请参阅。 通过CloudFormation进行部署 部署时间：大约15分钟。 请按照本节中
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
某银行系统的生产环境部署文档，含redis，ELK，GreenPlum，mysql-mha，nacos，kafka等各类集群部署
09-12
某银行平台系统的生产环境部署文档，含redis，ELK，GreenPlum，mysql-mha，nacos，kafka，rocketmq，等各类java生态相关的中间件集群部署，可以通过此文档学习到专业的实战化的各类中间件部署
基于RocketMQ实现分布式事务
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
12-20 2924
在上一篇文章Spring Boot自动装配原理以及实践我们完成了服务通用日志监控组件的开发，确保每个服务都可以基于一个注解实现业务功能的监控。而本文我们尝试基于RocketMQ实现下单的分布式的事务。可能会有读者会有疑问，之前我们不是基于Seata完成了分布式事务，为什么我们还要用到RocketMQ呢？创建订单，将订单记录存到数据库中。扣款，记录用户扣款后钱包所剩下的额度。扣除商品库存，并发放商品。
13 Linux实操篇-网络配置
qq_74289024的博客
04-23 931
子网ip 与网关。
Linux多进程(五) 进程池 C++实现
最新发布
Lyajpunov的博客
04-26 622
进程池是一种并发编程模式，用于管理和重用多个处理任务的进程。它通常用于需要频繁创建和销毁进程的情况，以避免因此产生的开销。减少进程创建销毁的开销：避免频繁创建和销毁进程所带来的系统资源开销。提高系统响应速度：由于进程已经初始化并且一直保持在内存中，可以立即分配执行任务，减少了任务等待时间。控制资源使用：通过限制进程池中的进程数量，可以控制系统资源的使用情况，避免资源过度消耗。
Linux——web服务配置
Xinan_____的博客
04-23 1079
GET：请求获取指定资源的表示形式。使用GET方法，客户端请求服务器发送某个资源。POST：向指定资源提交数据，用于处理表单提交、文件上传等操作。PUT：向指定资源位置上传其最新内容，用于更新资源。DELETE：请求服务器删除指定资源。HEAD：请求获取与实体相对应的头部信息，用于获取资源的元数据。OPTIONS：请求查询服务器支持的HTTP方法。TRACE：请求服务器回显收到的请求消息，用于测试或诊断。200 OK：请求成功。：永久重定向，请求的资源已经被分配了新的。
linux的编译器vim
qq2127189274的博客
04-21 471
linux的编译器vim
rocketmq集群部署
05-10
RocketMQ是一个分布式的消息队列系统，支持高可用的集群部署方式。以下是RocketMQ集群部署的步骤： 1. 下载RocketMQ，解压缩后进入bin目录。 2. 修改conf文件夹下的配置文件，包括broker.conf、namesrv.conf、logback_broker.xml和logback_namesrv.xml等。其中，broker.conf和namesrv.conf是RocketMQ的核心配置文件，需要根据实际情况进行修改。 3. 启动NameServer。在bin目录下执行命令：nohup sh mqnamesrv &。这个命令将会在后台启动NameServer。 4. 启动Broker。在bin目录下执行命令：nohup sh mqbroker -n localhost:9876 &。这个命令将会在后台启动一个Broker实例，它会自动注册到NameServer上。 5. 配置集群。在配置文件broker.conf中，需要配置brokerClusterName和brokerName，这两个参数用于标识一个Broker所属的集群和Broker的名字。在同一个集群中，每个Broker的brokerClusterName必须相同，brokerName必须不同。 6. 启动多个Broker实例。在不同的服务器上启动多个Broker实例，它们都需要连接到同一个NameServer上。在启动Broker实例时，需要使用不同的brokerName参数。 7. 配置负载均衡。在配置文件broker.conf中，可以配置brokerIP1~4参数，这些参数用于配置Broker的IP地址。在同一个集群中，多个Broker实例之间可以通过负载均衡的方式进行消息的转发。 以上是RocketMQ集群部署的基本步骤，具体操作可以根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值