RocketMQ-部署双Master模式

最新推荐文章于 2022-11-02 23:08:50 发布
最新推荐文章于 2022-11-02 23:08:50 发布
阅读量617 收藏 2
点赞数 1
分类专栏： java rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40102178/article/details/106472532
版权

一、RocketMQ-部署双Master模式

服务器只有两台，选择双主模式，真实环境建议至少双主双从

服务介绍地址端口
rocketmq-nameserver1注册中心1192.168.200.418047
rrocketmq-master1broker-a --master192.168.200.418048
rocketmq-nameserver2注册中心2192.168.200.428047
broker-a --master2broker-b --master192.168.200.428048

1、添加host信息

vim /etc/hosts
名称地址
rocketmq-nameserver1192.168.200.41
rrocketmq-master1192.168.200.41
rocketmq-nameserver2192.168.200.42
rrocketmq-master2192.168.200.42

2、下载rocketmq

官方地址：https://rocketmq.apache.org/dowloading/releases/
这里我下载的版本是4.7.0
在这里插入图片描述
上传解压并将需要的文件夹复制到 /opt/rocketmq

   cd /opt
   mkdir rocketmq
   unzip rocketmq-all-4.7.0-source-release.zip
   cd rocketmq-all-4.7.0/
   mvn -Prelease-all -DskipTests clean install -U
   cd distribution/target/rocketmq-4.7.0/
   cp -rp rocketmq-4.7.0/opt/rocketmq

3、创建存储路径

存储路径

mkdir /opt/rocketmq/data

commitLog 存储路径

mkdir /opt/rocketmq/data/commitlog

消息队列存储路径

mkdir /opt/rocketmq/data/consumequeue

消息索引存储路径

/opt/rocketmq/data/index

4、RocketMQ配置文件【两台机器保持一致】

注意：这里我修改了nameserver和broker的端口
nameserver -> 8047 （默认：9876）
broker> 8048 （默认：10911）
关闭了自动创建Topic和订阅组

1、修改配置文件 : broker-a.properties

vim /opt/rocketmq/rocketmq-4.7.0/conf/2m-noslave/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
 
#broker名字，注意此处不同的配置文件填写的不一样 （broker-b.properties的这里改成broker-b）
brokerName=broker-a
#0 表示 Master，>0 表示 Slave 
brokerId=0
#nameServer地址，分号分割 (可选，该配置默认从系统可用地址中选择一个；)
namesrvAddr=rocketmq-nameserver1:8047;rocketmq-nameserver2:8047
#在某些场景可以手动配置ip，例如程序运行在虚拟机中外部无法访问默认地址，或者用来解决docker本地ip外部无法访问的问题，由于服务器多ip这里选择手动配置ip。
brokerIP1=rocketmq-master1
#可选，broker的ha地址，其用途同上，不过一般不需要配置
#brokerIP2=192.168.*.*
 
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口 
listenPort=8048
#删除文件时间点，默认凌晨 4点 
deleteWhen=04
#文件保留时间，默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88
#存储路径 
storePathRootDir=/opt/rocketmq/data
#commitLog 存储路径 
storePathCommitLog=/opt/rocketmq/data/commitlog
#消费队列存储路径存储路径 
storePathConsumeQueue=/opt/rocketmq/data/consumequeue
#消息索引存储路径 
storePathIndex=/opt/rocketmq/data/index
#checkpoint 文件存储
storeCheckpoint=/opt/rocketmq/data/checkpoint
#abort 文件存储路
abortFile=/opt/rocketmq/data/abort
#限制的消息大小 
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色 
#- ASYNC_MASTER  异步复制Master 
#- SYNC_MASTER  同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER
#刷盘方式 
#- ASYNC_FLUSH  异步刷盘 
#- SYNC_FLUSH  同步刷盘 
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128lushDiskType=ASYNC_FLUSH

2、修改配置文件 : broker-b.properties

vim /opt/rocketmq/rocketmq-4.7.0/conf/2m-noslave/broker-b.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
 
#broker名字，注意此处不同的配置文件填写的不一样 （broker-b.properties的这里改成broker-b）
brokerName=broker-b
#0 表示 Master，>0 表示 Slave 
brokerId=0
#nameServer地址，分号分割(可选，该配置默认从系统可用地址中选择一个；)
namesrvAddr=rocketmq-nameserver1:8047;rocketmq-nameserver2:8047

#在某些场景可以手动配置ip，例如程序运行在虚拟机中外部无法访问默认地址，或者用来解决docker本地ip外部无法访问的问题.服务器多ip这里选择手动配置ip。
brokerIP1=rocketmq-master2
#可选，broker的ha地址，其用途同上，不过一般不需要配置
#brokerIP2=192.168.*.*
 
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口 
listenPort=8048
#删除文件时间点，默认凌晨 4点 
deleteWhen=04
#文件保留时间，默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88
#存储路径 
storePathRootDir=/opt/rocketmq/data
#commitLog 存储路径 
storePathCommitLog=/opt/rocketmq/data/commitlog
#消费队列存储路径存储路径 
storePathConsumeQueue=/opt/rocketmq/data/consumequeue
#消息索引存储路径 
storePathIndex=/opt/rocketmq/data/index
#checkpoint 文件存储
storeCheckpoint=/opt/rocketmq/data/checkpoint
#abort 文件存储路
abortFile=/opt/rocketmq/data/abort
#限制的消息大小 
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色 
#- ASYNC_MASTER  异步复制Master 
#- SYNC_MASTER  同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER
#刷盘方式 
#- ASYNC_FLUSH  异步刷盘 
#- SYNC_FLUSH  同步刷盘 
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128lushDiskType=ASYNC_FLUSH

5、修改日志路径【两台机器】

mkdir -p /opt/rocketmq/logs
cd /opt/rocketmq/rocketmq-4.7.0/conf && sed -i 's#${user.home}#/opt/rocketmq#g' *.xml

6、修改启动脚本参数【两台机器】

设置jvm最小、最大内存，根据服务器配置来定

vim /opt/rocketmq/rocketmq-4.7.0/bin/runbroker.sh

原配置：JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

修改为：JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

vim /opt/rocketmq/rocketmq-4.7.0/bin/runserver.sh

原配置：JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改为：JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

7、先启动nameServer【两台机器】

进入根目录:

cd /opt/rocketmq/rocketmq-4.7.0

编写配置文件

echo "listenPort=8047" > namesrv.properties

启动 NameServer
这里启动的时候我修改了nameserver的端口

nohup sh bin/mqnamesrv -c ./namesrv.properties

查看日志：

tail -f /opt/rocketmq/logs/rocketmqlogs/namesrv.log

成功显示：The Name Server boot success…

8、启动brokerServer1【192.168.200.41】

进入根目录:

cd /opt/rocketmq/rocketmq-4.7.0

启动mqbroker服务 （这里使用的配置文件：broker-a.properties）

nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-4.7.0/conf/2m-noslave/broker-a.properties &

查看日志

tail -f /opt/rocketmq/logs/rocketmqlogs/broker.log

成功显示：

The broker[%s, 172.30.30.233:10911] boot success…
register broker[0]to name server rocketmq-nameserver2:8047 OK

9、启动brokerServer2【192.168.200.42】

进入根目录:

cd /opt/rocketmq/rocketmq-4.7.0

启动mqbroker服务（这里使用的配置文件：broker-b.properties）

nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-4.7.0/conf/2m-noslave/broker-b.properties &

查看日志

tail -f /opt/rocketmq/logs/rocketmqlogs/broker.log

10、查看进程是否启动

在这里插入图片描述

11、服务的关闭

先关闭broker，再关闭nameServer

sh bin/mqshutdown broker
The mqbroker(36695) is running…
Send shutdown request to mqbroker(36695) OK

sh bin/mqshutdown namesrv
The mqnamesrv(36664) is running…
Send shutdown request to mqnamesrv(36664) OK

12、Topic的创建

创建Topic使用的命令： mqadmin updateTopic

cd /opt/rocketmq/rocketmq-4.7.0/bin
./mqadmin updateTopic
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
usage: mqadmin updateTopic [-b <arg>] [-c <arg>] [-h] [-n <arg>] [-o <arg>] [-p <arg>] [-r <arg>] [-s <arg>]
       -t <arg> [-u <arg>] [-w <arg>]
 -b,--brokerAddr <arg>       create topic to which broker
 -c,--clusterName <arg>      create topic to which cluster
 -h,--help                   Print help
 -n,--namesrvAddr <arg>      Name server address list, eg: 192.168.0.1:9876;192.168.0.2:9876
 -o,--order <arg>            set topic's order(true|false)
 -p,--perm <arg>             set topic's permission(2|4|6), intro[2:W 4:R; 6:RW]
 -r,--readQueueNums <arg>    set read queue nums
 -s,--hasUnitSub <arg>       has unit sub (true|false)
 -t,--topic <arg>            topic name
 -u,--unit <arg>             is unit topic (true|false)
 -w,--writeQueueNums <arg>   set write queue nums

例如：

/mqadmin updateTopic -n 192.168.200.41:8047 -c rocketmq-cluster -t rocketTopic

二、RocketMQ 可视化工具

项目下载地址：https://github.com/apache/rocketmq-externals

下载很慢，这里分享我自己下载的：
链接:https://pan.baidu.com/s/1gjsgrwE1t2_I_k4D0mSo6g 密码:bo7k

## rocketmq 可视化工具
1、修改配置文件
cd /opt/rocketmq-externals/rocketmq-console/src/main/resources
vim application.properties
2、修改内容
server.port=8066 此可视化插件的运行端口。
rocketmq.config.namesrvAddr=rocketmq-nameserver1:8047;rocketmq-nameserver2:8047
rocketmq.config.isVIPChannel=false 不使用vip通道
3、进入跟目录
cd /opt/rocketmq-externals/rocketmq-console
4、项目打包
mvn clean package -Dmaven.test.skip=true
5、运行
cd target
java -jar rocketmq-console-ng-1.0.1.jar

登录访问Console

在访问Console时支持按用户名和密码登录控制台，在操作完成后登出。需要做如下的设置:

1.在Spring配置文件resources/application.properties中修改 开启登录功能
# 开启登录功能
rocketmq.config.loginRequired=true

# Dashboard文件目录，登录用户配置文件所在目录
rocketmq.config.dataPath=/tmp/rocketmq-console/data


2.确保${rocketmq.config.dataPath}定义的目录存在，并且该目录下创建登录配置文件"users.properties", 如果该目录下不存在此文件，则默认使用resources/users.properties文件。 users.properties文件格式为:
# 该文件支持热修改，即添加和修改用户时，不需要重新启动console
# 格式， 每行定义一个用户， username=password[,N]  #N是可选项，可以为0 (普通用户)； 1 （管理员）  

#定义管理员 
admin=admin,1

#定义普通用户
user1=user1
user2=user2

访问可视化工具：http://localhost:8066/
可以在工具里新建/删除 Topic和订阅组
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三、关于防火墙的问题：

https://blog.csdn.net/qq_24232123/article/details/79781527

西南疯啊疯
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RocketMQ CommitLog 详解
黎明就要到来
06-19 592
该文所涉及的 RocketMQ 源码版本为 4.9.3。
RocketMQ简介以及双Master模式的配置
u014182745的专栏
08-14 3133
1、RocketMQ介绍 （最开始RocketMQ是阿里研究出来的，在2016-11-28捐赠给了开源软件基金会Apache。）1.1. 简介 RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点：能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 选用理由：  强调集群无单点，可扩展，任意一点高可用，水平可扩
RocketMQ 配置双master
帅大叔的博客
06-26 590
RocketMQ 配置多master 一、准备工作 1、虚拟机安装两台 Centos7 2、jdk8 3、maven 3.5.0 4、git 二、下载并编译 git clone -b develop https://github.com/apache/incubator-rocketmq.git cd incubator-rocketmq mvn -Pre...
RocketMQ（六）多Master多Slave模式-异步复制集群搭建
weixiaohuai的博客
03-22 5622
目录 一、概述 二、环境准备 三、总体架构图 四、配置RocketMQ-Master01(主1 - 10.0.90.59) 五、配置RocketMQ-Master02(主2 - 10.0.90.144) 六、配置RocketMQ-Slave01(从1 - 10.0.91.8) 七、配置RocketMQ-Slave02(从2 - 10.0.91.49) 八、启动NameServer集群 九、启动Broker集群 十、启动可视化控制台 一、概述 前面一篇文章我们介绍了RocketMQ..
搭建RocketMQ服务-多Master模式
王金铎的博客
03-08 2144
前言 RocketMQ 集群部署模式 单 master 模式 也就是只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。 多 master 模式 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高 缺点：单个 master 节点宕机期间，未被消费的消息在节点恢...
RocketMQ多Master模式
ditan20061218的博客
06-25 333
了解了RocketMQ的基本知识后，我们先来学习一下RocketMQ的多Master模式。 多Master模式：集群中不存在Slave节点，集群中所有节点都是Master节点。优点是配置简单，单个Master宕机或重启对应用没有影响。但是如果某个节点的Master宕机之后，该节点上未被消费的消息在节点恢复之前无法订阅和消费，实时性受到影响。 集群搭建过程： 服务器...
【RocketMQ】【源码】Broker服务注册
最新发布
S-H_A-N
11-02 1352
在Broker的启动函数中，添加了定时向NameServer进行注册的任务，在启动后延迟10秒向NameServer进行注册，之后定时发送心跳包，关于发送周期，首先从Broker配置的周期与60000毫秒中选出最小的那个值，然后再与10000毫秒对比，选出最大的那个，所以。brokerLiveTable保存了当前NameServer收到的心跳数据，遍历brokerLiveTable，获取每一个Broker最近一次发送心跳的时间，如果上一次发送心跳的时间 + 过期时间（120s） 小于 当前时间，
Rocketmq 安装 双master模式（推荐这种模式，性能最好）
码农的世界你们不懂
12-20 2006
1.修改hosts文件 vim /etc/hosts192.168.119.138 rocketmq-nameserver1 192.168.119.138 rocketmq-master1 192.168.119.139 rocketmq-nameserver2 192.168.119.139 rocketmq-master2然后重启网络service network restart2.解压roc
rocketmq-externals-master.zip
12-04
RocketMQ采用主从复制的集群架构，NameServer是无状态的，可以部署多台。每个Broker都可以配置为主或从，主Broker负责接收和存储消息，从Broker则通过同步或异步复制的方式备份数据。消费者可以采用Push模式（消息...
rocketmq管理工具,项目之前名字rocketmq-console后来项目独立并更名为rocketmq-dashboard
03-14
- 下载源码：可以从GitHub上获取`rocketmq-dashboard-master`压缩包。 - 构建项目：使用Maven进行编译，生成可执行的JAR文件。 - 运行：通过Java命令行运行JAR文件，指定相关的RocketMQ集群配置。 - 访问：在...
rocketMQ-master.zip
08-30
本压缩包“rocketMQ-master.zip”包含了RocketMQ的源码，适合开发者进行深入学习和定制化开发。 源码分析： RocketMQ的源码主要分为以下几个部分： 1. NameServer：RocketMQ的核心组件之一，负责维护Topic与Broker...
RocketMQ-3.5.8双主双从配置及部署说明
10-29
双主双从配置主要涉及到Broker节点，`RocketMQ笔记(2)_双主双从部署.pdf`应该详细介绍了这一过程： 1. 创建两个Broker实例，每个实例都配置为主节点和从节点。 2. 配置`broker.conf`文件，设置`brokerRole`为`ASYNC_...
超清晰的RocketMQ部署双Master模式
L_JueShan的博客
08-07 1711
工作遇到，在此记录。 RocketMQ官网，里面有官方的部署API介绍，但个人感觉不是很全。 官方下载地址http://rocketmq.apache.org/release_notes/release-notes-4.1.0-incubating/ 最好下载红框内的，下载上面源码的还需要编译。所以。。。简单起见嘛~ RocketMQ简单介绍：   RocketMQ 是阿里巴巴在20...
rocketMq双master集群模式下故障演练
congge
06-08 3549
在上一篇，我们简单搭建了rocketMq双master的集群，沿用这个思路，这一篇我们用代码来模拟一下rocketMq集群故障情况下完成自动切换的效果。 1、启动两个节点的broker和nameserver 第一台机器，192.168.111.133，启动的过程和信息如下， 第一台机器，192.168.9.147，启动的过程和信息如下， 看到如上信息，说明两个节点成功启动，然后我们看看代码的具...
RocketMQ多Master多Slave模式部署
u010634288的博客
02-25 6889
1. 服务器环境入下图所示，四台机器，IP位145为主节点，146是145的从节点。149是主节点，150是146的从节点 序号                IP                         用户名                              角色                                              模式 1
搭建RocketMQ服务-多Master多Slave模式
王金铎的博客
03-08 1869
前言 RocketMQ 集群部署模式 单 master 模式 也就是只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。 多 master 模式 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高 缺点：单个 master 节点宕机期间，未被消费的消息在节点恢...
RocketMQ集群原理及双主双从集群搭建
wangpf2011的博客
11-24 3239
RocketMQ的三种自带集群模式为： （1）双MASTER : 优点是配置简单、快捷，但是一旦MASTER机器宕机或出现问题就无法提供服务； （2）双MASTER双SLAVE同步双写： 比异步复制的性能差10%，但能保证数据不丢失； （3）双MASTER双SLAVE 异步复制：性能最好，但是遇到突发情况会有少量数据丢失。 上图为双主双从集群原理图，其中Name Server是一个几乎...
rocketmq - 10 双主双从模式
liang
08-28 2404
双主双从模式比起双主模式要多了两台从机。其好处在于主节点宕机后，从节点可以继续对外提供已经同步到broker上面的消息。从节点有主节点数据的全量copy，并且2M-2S模式下我们可以进行水平扩展，增加消息中间件的吞吐量和消息堆积能力。 关于多主多从模式，前面关于broker的集群有描述过异步复制和同步双写。异步复制性能高，但可能丢失毫秒级别的少量数据。同步双写性能比异步低百分之十，但不会有丢失数...
rocketmq集群部署（多master多slave异步）
weixin_34344677的博客
03-15 541
一、最近公司在做队列的技术选型，经过调研，决定使用rocketmq作为整个架构的队列层，我们之前的公司是用RabbitMQ，集群部署参考我之前的文章：RabbitMQ集群部署；rocketmq集群由NameServer和Broker两种角色组成，NameServer是无状态的可以横向部署多台达到消除单点的目的；Broker分多master、多master多slave同步、多master多slave...
分布式消息队列RocketMQ部署与监控详解
10.217.121.123 rocketmq-master1 128G内存 nameserver、broker server Master1（双Master模式） 10.217.122.31 rocketmq-master2 128G内存 nameserver、broker server Master2（双Master模式） RocketMQ的部署与...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值