RocketMQ(二) 集群配置

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： MQ 文章标签： RocketMQ 集群配置 java 消息队列集群 消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tang_5253/article/details/102710906
版权

相关概念

NameServer

这里我们可以理解成类似于zk的一个注册中心，而且rocketmq最初也是基于zk作为注册中心的，现在相当于为rocketmq自定义了一个注册中心，代码不超过1000行。RocketMQ 有多种配置方式可以令客户端找到 Name Server, 然后通过 Name Server 再找到 Broker，分别如下，优先级由高到低，高优先级会覆盖低优先级。客户端提供http和ip:端口号的两种方式，推荐使用http的方式可以实现nameserver的热部署。

Push Consumer

Consumer 的一种，应用通常通过 Consumer 对象注册一个 Listener 接口，一旦收到消息，Consumer 对象立刻回调 Listener 接口方法，类似于activemq的方式

Pull Consume

Consumer 的一种，应用通常主动调用 Consumer 的拉消息方法从 Broker 拉消息，主动权由应用控制

Producer Group

一类producer的集合名称，这类producer通常发送一类消息，且发送逻辑一致

Consumer Group

同上，consumer的集合名称

Broker

消息中转的角色，负责存储消息（实际的存储是调用的store组件完成的），转发消息，一般也成为server，同jms中的provider

Message Filter

可以实现高级的自定义的消息过滤

Master/Slave

集群的主从关系，broker的name相同，brokerid=0的为主master，大于0的为从slave，可以一主多从，但一从只能有一主

RocketMQ角色介绍

RocketMQ由四部分构成：Producer、Consumer、Broker和NameServer

启动顺序：NameServer->Broker

rocketmq架构图

在这里插入图片描述

RocketMQ的使用

下载

RocketMQ的下载地址http://rocketmq.apache.org/release_notes/release-notes-4.4.0/

配置环境变量

在这里插入图片描述
在这里插入图片描述

集群部署方式

单Master模式

优点：配置简单，方便部署

缺点：这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用

多Master模式

优点: 配置简单,一个Master宕机重启不会有什么影响

缺点: 单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅

多Master多Slave模式(异步复制)

一个Master配置一个Slave,有多对Master-Slave,采用的异步的方式
,可以一主多从，但一从只能有一主

优点: 即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。

缺点： Master 宕机，磁盘损坏情况，会丢失少量消息。

多Master多Slave模式（同步双写）

同多 master 多 slave 异步复制模式类似，区别在于 master 和 slave 之间的数据同步方式。

优点：同步双写的同步模式能保证数据不丢失。
缺点：发送单个消息 RT 会略长，性能相比异步复制低10%左右。
刷盘策略：同步刷盘和异步刷盘（指的是节点自身数据是同步还是异步存储）
同步方式：同步双写和异步复制（指的一组 master 和 slave 之间数据的同步）

在这里插入图片描述

开始搭建

修改broker-a.properties内容

	#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=localhost:9876;localhost:9877
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10910
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=C:\Users\Tang\Desktop\path\broker-a\RootDir
    #commitLog 存储路径
    storePathCommitLog=C:\Users\Tang\Desktop\path\broker-a\CommitLog
    #消费队列存储路径存储路径
    storePathConsumeQueue=C:\Users\Tang\Desktop\path\broker-a\ConsumeQueue
    #消息索引存储路径
    storePathIndex=C:\Users\Tang\Desktop\path\broker-a\Index
    #checkpoint 文件存储路径
    storeCheckpoint=C:\Users\Tang\Desktop\path\broker-a\point
    #abort 文件存储路径
    abortFile=C:\Users\Tang\Desktop\path\broker-a\File
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

修改broker-a-b.properties内容

#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分号分割
    namesrvAddr=localhost:9876;localhost:9877
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=C:\Users\Tang\Desktop\path\broker-a-s\RootDir
    #commitLog 存储路径
    storePathCommitLog=C:\Users\Tang\Desktop\path\broker-a-s\CommitLog
    #消费队列存储路径存储路径
    storePathConsumeQueue=C:\Users\Tang\Desktop\path\broker-a-s\ConsumeQueue
    #消息索引存储路径
    storePathIndex=C:\Users\Tang\Desktop\path\broker-a-s\Index
    #checkpoint 文件存储路径
    storeCheckpoint=C:\Users\Tang\Desktop\path\broker-a-s\point
    #abort 文件存储路径
    abortFile=C:\Users\Tang\Desktop\path\broker-a-s\File
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

broker-b 与 broker-a的配置基本相同

修改配置文件

rocketmq默认自带了三种建议的配置

rocketmq-all-4.4.0-bin-release\conf 下我们可以看到

  • 2m-2s-async (2主2从异步)
  • 2m-2s-sync (2主2从同步)
  • 2m-noslave (2主)

我们这里搭建2主2从的模式,企业为了保证数据的不丢失使用的是2主2从 同步

注意事项
  1. autoCreateTopicEnable=true,建议线下开启测试,线上关闭
  2. listenPort默认为10911,当一个机器上启动多个broker示例时,需区分开端口
  3. brokerClusterName 配置集群名字必须相同
  4. namesrvAddr 配置的时候 有多少个nameSev就写多少个,用";"号隔开.
  5. broker启动时,默认内存设置比较大,改成适合机器的,细节看下面
  6. 当一个节点启动多个broker实例时,存储路径如果显示的设置,则需要指定不同的storePath路径,(不设置的话,默认不同)
  7. brokerName 设置的时候 主broker需要和从broker相同
  8. brokerId 设置的时候 主设置为0 ,从设置为1,2,3…(有多少从设置多少)
需求内存太大

默认大小

-Xms8g -Xmx8g -Xmn4g

改为：

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

该配置视环境情况而定，配置一定要在环境内存允许的情况下，否则启动会报错，本地虚拟机配置很多问题都出在这一步

启动mqnamesrv.cmd(这里是有一台主机上)

启动第一个mqnamesrv 我们可以使用默认的端口地址:9876

启动第二个mqnamesrv 我们需要创建mqnamesrv的配置文件(namesrv.properties)

在这里插入图片描述

启动命令

格式: mqnamesrv -c 配置文件

例如:

F:\rocketmq-all-4.4.0-bin-release\bin\mqnamesrv -c F:\rocketmq-all-4.4.0-bin-release\conf\namesrv.properties

启动broker(2主2从)

在这里插入图片描述
在这里插入图片描述

启动命令

格式: mqbroker -c 配置文件

例如

F:\rocketmq-all-4.4.0-bin-release\bin\mqbroker -c F:\rocketmq-all-4.4.0-bin-release\conf\2m-2s-async\broker-a.properties

启动结果

在这里插入图片描述

成功开启

可视化界面查看效果

下载地址：https://github.com/apache/rocketmq-externals

进入到 rocketmq-console

文件夹下，执行如下命令：

mvn clean package -Dmaven.test.skip=true

执行完之后启动

java -jar target/rocketmq-console-ng-1.0.1.jar --server.port=8888 --rocketmq.config.namesrvAddr=localhost:9876;localhost:9877

在这里插入图片描述

或者修改application.properties文件

在这里插入图片描述
在这里插入图片描述

启动

java -jar target/rocketmq-console-ng-1.0.1.jar

测试

成功了(累死了)

在这里插入图片描述

一块黑色巧克力
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ的安装与配置（集群）- 多Mater多Slave
Jason World
03-30 2509
一、前置条件：配置Java环境 # 官网下载安装包: jdk-8u321-linux-x64.tar.gz > tar -zxvf jdk-8u321-linux-x64.tar.gz > mv jdk1.8.0_321 /usr/local/jdk1.8.0_321 # 配置环境变量 > vim /etc/profile # 新增Java配置 export JAVA_HOME=/usr/local/jdk1.8.0_321 export CLASSPATH=.:${JAVA_HOME}/
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 610
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
RocketMQ集群安装部署
08-15
RocketMQ集群安装部署 一步一步讲述RocketMQ的安装部署和测试过程。
RocketMQ双主双从集群搭建
赶考书生
09-27 261
集群搭建方式 集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ（二）集群配置
gh670011677的博客
07-11 613
RocketMQ 网络部署特点 Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker 分为Master与Slave，一个Master 可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId来定 义，Bro
Linux服务器安装JavaWeb环境(三) RocketMQ,Nacos
脑壳疼
11-18 1462
/*****************【安装RocketMq】****************/ 1.下载安装包 http://rocketmq.apache.org/dowloading/releases/ 下载.zip版本的包，我这里下载的是4.4.0版本 2.创建文件夹，上传到服务器并解压，修改解压后的文件夹名称 cd /usr/local rz unzip rocketmq-all-4.4.0-bin-release.zip mv rocketmq-all-4.4.0-bin-relea
1-RocketMq
Link的博客
12-22 169
简介 基于java开发，高可用 应用场景 1、应用解耦 2、流量销峰 3、异步处理 4、消息分发(邮件、短信、日志、数据处理) 延时队列场景：需要延时单次延迟执行的场景，比如订单取消 常见问题 1、如何保证高可用 集群部署 2、如何保证消息不丢失(消息的可靠性传输) 生产者丢失数据 开启生产者确认模式，确认发送成功了才对消费者可见 消息队列丢失数据 开启消息持久化，设置好刷盘策略...
RocketMQ集群搭建
mry6的博客
03-15 1044
Producer：消息的发送者；举例：发信者Consumer：消息的接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
第八章：手把手教老婆实现：RocketMQ集群模式（2）-RocketMQ主从-搭建
2301_79099287的博客
05-04 1008
总而言之，面试官问来问去，问的那些Redis知识点也就这么多吧，复习的不够到位，知识点掌握不够熟练，所以面试才会卡壳。将这些Redis面试知识解析以及我整理的一些学习笔记分享出来给大家参考学习还有更多学习笔记面试资料也分享如下：启动master主机的broker再启动slave主机的broker总而言之，面试官问来问去，问的那些Redis知识点也就这么多吧，复习的不够到位，知识点掌握不够熟练，所以面试才会卡壳。将这些Redis面试知识解析以及我整理的一些学习笔记分享出来给大家参考学习。
rocketmq集群搭建（简略版）
jockha的博客
07-12 825
rocketmq集群
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3195
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
RocketMQ系列：mqadmin命令行之集群操作
公众号-测试生财
10-07 3139
简介 本文主要介绍clusterList和clusterRT命令 命令 clusterList：查看集群列表 clusterRT：测试集群的响应耗时 例子 clusterList 1）帮助 ./mqadmin clusterList -h 2）查看集群基本信息 ./mqadmin clusterList -n nameserver1:9876 3) 查看集群更多信息 ./mqadmin clusterList -n nameserver1:9876 -m 4) 查询集群.
rocketMQ安装和集群配置详解
wolf1105的博客
12-04 1896
rocketMQ 4.5.0安装、集群配置详解 1、下载 #wget https://archive.apache.org/dist/rocketmq/4.5.0/rocketmq-all-4.5.0-bin-release.zip #unzip rocketmq-all-4.5.0-bin-release.zip #复制到 /usr/local/rocketmq-all-4.5.0 1、单机版配...
安装搭建rocketmq集群
hjkl_uiop的博客
09-12 3889
下载地址：https://dlcdn.apache.org/rocketmq/4.9.1/ 下载后可以解压后通过工具上传到服务器。 部署需求（如果是两台机器，可以做一主一从，即broker-a主节点和nameserver在一台机器，broker-a-s从节点和console（rocketmq监控平台）在另一台机器） 在132机器mq目录下创建存储路径： mkdir store mkdir store/commitlog mkdir store/consumequeue mkdir store/index
源码分析RocketMQ之Producer
liangshf520的博客
06-12 1177
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
【Linux】RocketMQ-Cluster集群搭建实战
小白鸽i的博客
09-21 735
RocketMQ-Cluster集群搭建
RocketMQ客户端如何在集群中找到正确的节点？
migo_的专栏
03-11 209
客户端如何寻找brocker，nameserver挂了怎么办？
rocketmq配置集群
05-11
要配置 RocketMQ 集群，请执行以下步骤： 1. 安装 Java 环境，并下载 RocketMQ 安装包。 2. 解压 RocketMQ 安装包，进入解压后的目录。 3. 在 conf 目录下创建两个配置文件：broker-a.properties 和 broker-b.properties。这两个文件分别对应两个不同的 Broker 实例。 4. 修改 broker-a.properties 和 broker-b.properties 文件的以下配置项： ``` brokerClusterName=MyCluster brokerName=broker-a 或 broker-b brokerId=0 或 1 namesrvAddr=192.168.1.100:9876;192.168.1.101:9876 ``` brokerClusterName：集群名，需要保证唯一性。 brokerName：Broker 实例名，也需要保证唯一性。 brokerId：Broker 实例 ID，需要保证唯一性。 namesrvAddr：NameServer 地址，多个地址用分号隔开。 5. 复制 broker-a.properties 和 broker-b.properties 文件，分别重命名为 broker-a2.properties 和 broker-b2.properties。这两个文件对应的是 Broker 实例的备份。 6. 在 bin 目录下执行以下命令启动 Broker 实例： ``` nohup sh mqbroker -c ../conf/broker-a.properties & nohup sh mqbroker -c ../conf/broker-b.properties & nohup sh mqbroker -c ../conf/broker-a2.properties & nohup sh mqbroker -c ../conf/broker-b2.properties & ``` 7. 检查 Broker 实例的日志，确保它们启动成功。 8. 配置 Producer 和 Consumer，使用 NameServer 的地址进行消息发送和消费。 以上是简单的 RocketMQ 集群配置。如果需要更高的可用性和容错性，可以考虑使用主从模式或者多主模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值