rocketmq搭建2m2s踩坑版

最新推荐文章于 2024-07-24 10:41:14 发布
最新推荐文章于 2024-07-24 10:41:14 发布
阅读量314 收藏
点赞数
分类专栏： 消息队列 rocketmq 文章标签： 消息队列 阿里巴巴 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30007953/article/details/118977874
版权
本文档详细介绍了如何在两台服务器上搭建高可用的RocketMQ集群，包括配置两个NameServer、两个Master Broker和两个Slave Broker，确保服务的冗余和容错。同时，还演示了关闭防火墙、设置环境变量、修改Broker配置文件以及启动和监控服务的步骤。最后，提到了使用SpringBoot应用搭建RocketMQ的监控平台。
摘要由CSDN通过智能技术生成

搭建过程中遇到了些问题百度了很久终于东拼西凑成功解决了。看看成果。
console完美运行。
在这里插入图片描述
代码生产消费也是正常的。
在这里插入图片描述
言归正传开始搭建.

0.服务器环境介绍

没有将master与对应的slave安装在同一个节点，如果在一个节点挂了master就挂了slave

IP角色架构
192.168.40.129nameserver, brokerservermaster1，slave2
192.168.40.132nameserver, brokerservermaster2，slave1

1.在linux中解压

rocketmq-all-4.3.2-bin-release.zip

可以在这里下载
https://590m.com/f/24811911-503010440-b1e10b
（访问密码：5812）

2.修改RocketMq虚拟机内存

启动Broker内存不足将失败，编辑两个配置文件，修改JVM内存大小。

编辑runbroker.sh,runserver.sh修改默认JVM大小
vi bin/runbroker.sh
#找到并修改成以下内容
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

vi bin/runserver.sh
#找到并修改成以下内容
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m 
-XX:MaxMetaspaceSize=320m"

3.关闭防火墙，所有端口都开放

关闭防火墙
systemctl stop firewalld.service
#查看防火墙状态
firewall-cmd --state
#禁止firewall开机启动
systemctl disable firewalld.service
```bash

4.配置环境变量

vi /etc/profile
shift+g 跳至文件最后一行

#set rocketmq
ROCKETMQ_HOME=/root/rocketmq-all-4.3.2-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin 
export ROCKETMQ_HOME PATH

配置立刻生效

source /etc/profile

5.修改broker配置文件

在192.168.40.129机器中
配置broker-a的从节点

vi $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
	brokerIP1=192.168.40.129
    #nameServer地址，分号分割
    namesrvAddr=192.168.40.129:9876;192.168.40.132:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-a
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-a/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-a/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

配置broker-b的从节点

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
	brokerIP1=192.168.40.129
    #nameServer地址，分号分割
    namesrvAddr=192.168.40.129:9876;192.168.40.132:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-b-s
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-b-s/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-b-s/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-b-s/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

在192.168.40.132机器中配置
配置broker-a的从节点

vi $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
	brokerIP1=192.168.40.132
    #nameServer地址，分号分割
    namesrvAddr=192.168.40.129:9876;192.168.40.132:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-b-s
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-b-s/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-b-s/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-b-s/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

配置broker-b的主节点

vi $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=192.168.40.129:9876;192.168.40.132:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
	brokerIP1=192.168.40.132
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-a
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-a/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-a/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

6.服务启动

启动NameServe集群

分别在192.168.40.128和192.168.40.132启动NameServer

nohup sh mqnamesrv &

启动Broker集群

在192.168.40.128上启动master1和slave2
master1：

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &

slave2：

nohup sh mqbroker -c  $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &

在192.168.25.132上启动master2和slave1

master2：

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &

slave1：

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &

查看进程状态

启动后通过JPS查看启动进程
在这里插入图片描述

关闭命令

mqshutdown namesrv
mqshutdown broker

7.安装console集群监控平台搭建

https://github.com/apache/rocketmq-externals

下载并编译打包rocketmq-externals文件夹

git clone https://github.com/apache/rocketmq-externals cd rocketmq-console mvn clean package -Dmaven.test.skip=true

修改springboot工程中的配置文件
添加nameserver地址

rocketmq.config.namesrvAddr=192.168.40.129:9876;192.168.40.132:9876

运行即可

java -jar rocketmq-console-ng-1.0.0.jar
CNNandRNN
关注
专栏目录
centos8.5 搭建k8s--1.23.1集群
唐顺才的博客
12-19 174
1、kubernetes安装介绍 1.1 K8S架构图 在这里插入图片描述 master节点用于管理整个k8s集群 slave节点用于运行容器 1.2 K8S搭建安装示意图 3种网络类型： host机网络，master用于管理k8s集群 pod网络，pod之间互相调用 service网络，对外提供服务 1.3 节点设置： 1 节点资源： 节点ip 节点角色 192.168.1.101 k8s-master 192.168.1.102 k8s-node1 192.168.1
rocketmq broker配置整理
u013845177的博客
12-31 952
参考： http://huhanlin.com/2020/01/19/rocketmq-broker-%E9%85%8D%E7%BD%AE/ https://blog.csdn.net/qq_32020035/article/details/81834903 #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示 Master，>0 表示 Slave bro
RocketMQ集群搭建
weixin_45203131的博客
08-28 534
消息消费的过程： Name Server是Broker的管理者，Broker会自动将自身的信息主动发送给Name Server。 生产消息：首先Producer首先向Name Server询问Broker的地址，然后将消息传递给Broker。 消费消息：Consumer消费消息则也需要指定需要消费的信息，而这个信息则存储在Broker中，所以Consumer消费之前要先向Name Server获取存储消息的Broker的地址，从而进行消费。 集群的工作流程： 1.启动NameServe...
RocketMQ双主双从集群搭建
赶考书生
09-27 286
集群搭建方式 集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ集群的搭建
Lossdate的博客
07-05 200
一、环境 hosts 192.168.200.136 nodeA 192.168.200.139 nodeB 192.168.200.140 nodeC 192.168.200.141 nodeD 版本 rocketmq : 4.5.1 jdk : 1.8 在nodeA上安装好rocketmq RocketMQ安装 配置免密钥登入cd /root/ ls -a cd .ssh/ ls #生成密钥(四台机子都要) ssh-keygen #生成三个文件id_rsa id_rsa.pub known_hos
Rocketmq的集群搭建
wssc63262的博客
07-27 1878
居于RocketMQ4.9.4搭建集群
rocketmq测试1-rocketmq，2m2s集群搭建
2010yhh
10-31 1713
rocketmq测试1-2m2s集群搭建环境： 虚拟机centos；jdk1.8；rocketmq3.5.8 2个虚拟机ip地址：192.168.159.134，192.168.159.136 注意：同一台机器部署多个broker，注意端口及存储目录要不同，且端口号之间要相距大些。 1.2m2s集群搭建 namesrv1 192.168.159.134:9876 n
在CentOS-6.8 64bit下安装Rocketmq4.2.0，采用双主双从同步复制
03-14
为了搭建RocketMQ集群，首先需要创建一个CentOS虚拟机，具体版本为CentOS-6.8 64位。建议配置如下： - **内存**：2GB - **处理器**：双核 - **硬盘**：SCSI类型，容量20GB 在安装过程中，选择“基本存储设备”和...
RocketMQ(二)双主双从同步复制集群
qq_46691679的博客
03-22 687
作为测试环境，我们使用两台虚拟机来部署双主双从环境，具体结构如下： 整个集群由两个 name server 实例和四个 broker 实例组成 name server: 两台服务器分别启动两个name server broker A 主从: 服务器1部署 broker A 主服务 服务器2部署 broker A 从服务 broker B 主从: 服务器2部署 broker B 主服务 服务器1部署 broker B 从服务
RocketMQ 集群搭建
涛涛之海
09-12 825
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1493
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
rocketmq集群搭建
qq_41196211的博客
03-27 1094
是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。
Rocketmq集群搭建
Kevin
02-28 369
Rocketmq集群搭建 拓扑 主机名 网卡名 IP 作用 mq-master01 ens33 192.168.162.10 broker-a mq-master02 ens33 192.168.162.11 broker-b mq-slave01 ens33 192.168.162.12 broker-a-s mq-slave02 ens33 192.168.162....
第二章 RocketMQ集群简介-安装-测试
qq_41133245的博客
11-08 499
1.各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2.集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何
RocketMq集群搭建
weixin_61157922的博客
08-01 609
准备两个Linux机器。
Failed to open required defaults file: C:\Users\李金泽\AppData\Local\Temp\tmp2m2c68kq.cnf
04-10
这个错误提示是由于程序无法打开所需的默认配置文件导致的。通常情况下，这个错误可能有以下几个原因： 1. 文件路径错误：请确保文件路径是正确的，并且文件存在于指定的位置。你可以检查一下文件是否存在，或者...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值