Apache RocketMQ5.x 介绍及单机&双主双从部署

已于 2024-03-28 11:17:30 修改
阅读量1k 收藏 17
点赞数 7
文章标签： apache rocketmq java java-rocketmq
于 2024-01-30 16:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43459099/article/details/135936225
版权

Apache RocketMQ 官网：https://rocketmq.apache.org/zh/

1.安装

RocketMQ 的安装包分为两种，二进制包和源码包。 点击这里 下载 Apache RocketMQ 5.1.4的源码包。你也可以从这里 下载到二进制包。二进制包是已经编译完成后可以直接运行的，源码包是需要编译后运行的。

1、下载解压

# rocketmq-all-5.1.4-bin-release.zip
# 将下载的压缩包上传到/data/service/rocketmq
[admin@test-webapp-svr20 ~]$ cd /data/service/rocketmq

# 解压
[admin@test-webapp-svr20 rocketmq]$ unzip rocketmq-all-5.1.4-bin-release.zip
[admin@test-webapp-svr20 rocketmq]$ ll
total 86056
drwxr-xr-x 6 admin grpadmin     4096 Jan 23 10:39 rocketmq-all-5.1.4-bin-release
-rw-r--r-- 1 admin grpadmin 88109546 Jan 23 10:35 rocketmq-all-5.1.4-bin-release.zip

2、配置环境变量

# 打开环境变量
[admin@test-webapp-svr20 rocketmq] vi /etc/profile

# 添加以下内容
export ROCKETMQ_HOME=/data/service/rocketmq/rocketmq-all-5.1.4-bin-release
export PATH=$ROCKETMQ_HOME/bin:$PATH

# 保存并退出
:wq

# 刷新环境变量
source /etc/profile

3、修改配置文件，根据实际服务器修改，以下配置不为实际生产配置

# 修改内存相关配置
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
[admin@test-webapp-svr20 bin] vim runbroker.sh
# 修改 JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g" 改为512m
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m"

[admin@test-webapp-svr20 bin] vim  runserver.sh
# 修改 JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

# 修改 JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

4、修改/conf/broker.conf(启动时可选择该配置文件)

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf
[admin@test-webapp-svr20 conf]$ vim broker.conf


#集群名称，可自定义
brokerClusterName=DefaultCluster
brokerName=broker‐a
brokerId=0
# 定义服务地址，主存地址
namesrvAddr=987.65.43.211:9876
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
autoCreateTopicEnable=true
#消息存储根路径
storePathRootDir=/data/service/rocketmq/rocketmq-all-5.1.4-bin-release/logs
#日志路径
storePathCommitLog=/data/service/rocketmq/rocketmq-all-5.1.4-bin-release/logs/commitlog

2.启动NameServer

安装完RocketMQ包后，我们启动NameServer

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 启动namesrv
[admin@test-webapp-svr20 bin] nohup sh mqnamesrv  &

### 验证namesrv是否启动成功
[admin@test-webapp-svr20 bin] tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...

3.启动Broker+Proxy

NameServer成功启动后，我们启动Broker和Proxy，5.x 版本下我们建议使用 Local 模式部署，即 Broker 和 Proxy 同进程部署。5.x 版本也支持 Broker 和 Proxy 分离部署以实现更灵活的集群能力。详情参考部署教程。

启动Broker+Proxy

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker  192.168.0.128为服务器的内网ip
[admin@test-webapp-svr20 bin] nohup sh mqbroker -n 987.65.43.211:9876 --enable-proxy &

### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

报错：

java.io.IOException: Failed to bind to address 0.0.0.0/0.0.0.0:8081

原因：

rocketmq默认的Proxy、Dashboard端口分别为8081、8080，和原有系统中的端口冲突，需进行调整

解决：

修改/data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/rmq-proxy.json

{
  "rocketMQClusterName": "DefaultCluster",
  # Dashboard 默认端口 8080
  "remotingListenPort": 9080,
  # Proxy默认端口 8081
  "grpcServerPort": 9081
}

4.关闭Broker、NameServer

关闭命令

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
# 关闭时请先关闭broker
[admin@test-webapp-svr20 rocketmq] sh mqshutdown broker
# 后关闭nameserver
[admin@test-webapp-svr20 rocketmq] sh mqshutdown namesrv
# 查看rocketmq进程是否关闭
[admin@test-webapp-svr20 rocketmq] ps -ef|grep rocketmq

5.修改默认端口

5.1. 修改NameServer端口

NameServer默认端口9876

#在rocketmq的conf目录下添加namesrv.properties文件，文件中添加端口配置

listenPort=8876

#使用配置信息后台启动namesrv
nohup sh mqnamesrv -c conf/namesrv.properties &
5.2. 修改Broker端口

Broker默认端口10911

#在rocketmq的conf/broker.conf，文件中添加端口配置



#使用配置信息后台启动Broker
nohup sh mqbroker -n 192.168.0.128:9876 -c conf/broker.conf --enable-proxy &
5.3. 修改Proxy、Dashboard端口

Dashboard 默认端口 8080

Proxy默认端口 8081

修改/data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/rmq-proxy.json

{
  "rocketMQClusterName": "DefaultCluster",
  # Dashboard 默认端口 8080
  "remotingListenPort": 9080,
  # Proxy默认端口 8081
  "grpcServerPort": 9081
}

6.安装RocketMQ Dashboard

RocketMQ Dashboard 是 RocketMQ 的管控利器，为用户提供客户端和应用程序的各种事件、性能的统计信息，支持以可视化工具代替 Topic 配置、Broker 管理等命令行操作。

6.1.介绍

6.1.1.功能概览
面板功能
运维修改nameserver 地址; 选用 VIPChannel
驾驶舱查看 broker, topic 消息量
集群集群分布，broker 配置、运行信息
主题搜索、筛选、删除、更新/新增主题，消息路由，发送消息，重置消费位点
消费者搜索、删除、新增/更新消费者组，终端，消费详情，配置
消息消息记录，私信消息，消息轨迹等消息详情

操作面板：

1657630174311

6.2.快速开始

系统要求：

  1. Linux/Unix/Mac
  2. 64bit JDK 1.8+
  3. Maven 3.2.x
  4. 启动 RocketMQ

网络配置：

  1. 云服务器可远程访问或本地虚拟机可 PING 通外网
  2. rocketmq 配置文件 broker.conf / broker-x.properties 设置 nameserver 地址和端口号
  3. 用配置文件启动 broker
6.2.1.源码安装

源码地址：apache/rocketmq-dashboard

下载并解压，切换至源码目录 rocketmq-dashboard-master/

① 编译 rocketmq-dashboard

$ mvn clean package -Dmaven.test.skip=true

② 运行 rocketmq-dashboard

$ java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

默认端口8080，若修改端口，调整代码中的application.yml配置文件重新进行打包

注意：

默认启动项目后，会再/home/admin/logs/rocketmqlogs 下生成对应日志，日志很大，使用-Drocketmq.client.logUseSlf4j=true启动项目取消日志生成

脚本运行

#!/bin/bash
PROJECT_NAME="rocketmq-dashboard-1.0.1-SNAPSHOT.jar"
echo "查询进程id-->${PROJECT_NAME}"
PID=`ps -ef | grep ${PROJECT_NAME} | awk '{print $2}'`
echo "得到进程ID：${PID}"
echo "结束进程"
for id in ${PID}
do
        kill -9 ${id}  
        echo "killed ${id}"  
done
echo "结束进程完成"

echo "启动服务"
BUILD_ID=mqdontKillMe nohup java  -Xms1024m -Xmx1024m -Dfile.encoding=UTF-8 -jar -Drocketmq.client.logUseSlf4j=true target/${PROJECT_NAME} > /dev/null 2>&1 &
echo "服务完成"

提示：Started App in x.xxx seconds (JVM running for x.xxx) 启动成功

浏览器页面访问：namesrv.addr:8080

关闭 rocketmq-dashboard : ctrl + c

再次启动：执行 ②

tips：下载后的源码需要上传到 Linux 系统上编译，本地编译可能会报错。

使用教程：https://rocketmq.apache.org/zh/docs/deploymentOperations/04Dashboard

7.双主双从安装

7.1. 服务器环境

ip （外/内）角色架构模式
123.45.56.789/192.168.0.162nameserver1:6789、broker-master1:12911、broker-slave2:13021Master1、Slave2
987.65.43.211/192.168.0.128nameserver2:6789、broker-master2:12921、broker-slave1:13011Master2、Slave1
7.1.2.开通端口

每个服务器需开放七个端口，生产可以进行调整端口

namesrv

  • 6789

broker主节点

  • 12911、12909、12912

broker从节点

  • 13011、13009、13012

端口规则说明：

namesrv默认端口：9876
假设broker配置的 ListenPort 端口：10911
则vip 通道端口为：ListenPort - 2 = 10909
则HA 通道端口为： ListenPort + 1 = 10912

7.2. 部署

本次在开发和测试环境部署rocketmq采用SYNC_MASTER 同步双写，ASYNC_FLUSH 异步刷盘进行

注：关于同步复制、异步复制、同步刷盘与异步刷盘区别，参考8.5专项解释

7.2.1.host解析
# 服务器123.45.56.789
vim /etc/hosts
# nameserver
123.45.56.789   nameserver1 # 6789
987.65.43.211   nameserver2 # 6789
# broker
123.45.56.789   broker-master1 # 12911
123.45.56.789   broker-slave2 # 13021
987.65.43.211   broker-master2 # 12921
987.65.43.211   broker-slave1 # 13011
# 配置完成后，重启网卡
systemctl restart network
service network restart
# Centos 8 重启网卡
nmcli c reload



# 服务器987.65.43.211
vim /etc/hosts
# nameserver
123.45.56.789   nameserver1 # 6789
987.65.43.211   nameserver2 # 6789
# broker
123.45.56.789   broker-master1 # 12911
123.45.56.789   broker-slave2 # 13021
987.65.43.211   broker-master2 # 12921
987.65.43.211   broker-slave1 # 13011
# 配置完成后，重启网卡
systemctl restart network
# Centos 8 重启网卡
nmcli c reload
7.2.2.安全组配置

为了安全只开放特定的端口号：6789（NameServer1 和 NameServer2）、12911（Master1）、12921（Master2）、13011（Slave1）、13021（Slave2）

7.2.3.创建消息存储路径

1号服务器：123.45.56.789

mkdir -p /data/service/rocketmq/store/broker-a/commitlog

mkdir -p /data/service/rocketmq/store/broker-a/consumequeue

mkdir -p /data/service/rocketmq/store/broker-a/index

mkdir -p /data/service/rocketmq/store/broker-b-s/commitlog

mkdir -p /data/service/rocketmq/store/broker-b-s/consumequeue

mkdir -p /data/service/rocketmq/store/broker-b-s/index

2号服务器 ：987.65.43.211

mkdir -p /data/service/rocketmq/store/broker-b/commitlog

mkdir -p /data/service/rocketmq/store/broker-b/consumequeue

mkdir -p /data/service/rocketmq/store/broker-b/index

mkdir -p /data/service/rocketmq/store/broker-a-s/commitlog

mkdir -p /data/service/rocketmq/store/broker-a-s/consumequeue

mkdir -p /data/service/rocketmq/store/broker-a-s/index
7.2.4. broker配置文件

分别在2台服务器上执行以下命令，编辑 broker.conf 文件，改成对应服务器的外网IP

# 两台服务器同时执行
# 服务器 123.45.56.789
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/broker.conf

namesrvAddr=987.65.43.211:9876
brokerIP=987.65.43.211

# 服务器 987.65.43.211
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/broker.conf

namesrvAddr=987.65.43.211:9876
brokerIP=987.65.43.211
7.2.5. master1(服务器一)

服务器一：123.45.56.789、192.168.0.162

# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a.properties


#Broker服务地址
brokerIP1=123.45.56.789
brokerIP2=123.45.56.789
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=123.45.56.789:6789;987.65.43.211:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=12911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-a/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-a/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
7.2.6. slave2(服务器一)

服务器一：123.45.56.789、192.168.0.162

# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b-s.properties


#Broker服务地址
brokerIP1=123.45.56.789
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=123.45.56.789:6789;987.65.43.211:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=13021
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-b-s/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-b-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
7.2.7. master2(服务器二)

服务器一：987.65.43.211、192.168.0.128

# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b.properties


#Broker服务地址,设置broker节点所在服务器的ip地址（这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1=987.65.43.211
brokerIP2=987.65.43.211
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=123.45.56.789:6789;987.65.43.211:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=12921
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-b
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-b/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-b/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-b/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-b/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
7.2.8. slave1(服务器二)

服务器一：987.65.43.211、192.168.0.128

# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a-s.properties


#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=123.45.56.789:6789;987.65.43.211:6789
#安装可视化界面使用，需要是IP，不能是host
#设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1=987.65.43.211
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
#进行发消息时，必须要指定topic，对于topic的设置有一个开关autoCreateTopicEnable，一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true，但是这样就会导致#topic的设置不容易规范管理，没有统一的审核。所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口，如果从节点是单独服务器，则可以使用默认端口19011
listenPort=13011
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-a-s
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-a-s/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-a-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-a-s/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-a-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
7.2.9.服务启动
7.2.9.1.启动NameServer集群

分别在服务器一和服务器二启动NameServer1 和 NameServer2

# 两个服务器都需要操作
#在rocketmq的conf目录下添加namesrv.properties文件，文件中添加端口配置
listenPort=6789
### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 启动namesrv
[admin@test-webapp-svr20 bin] nohup sh mqnamesrv -c ../conf/namesrv.properties &

### 验证namesrv是否启动成功
[admin@test-webapp-svr20 bin] tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
7.2.9.2.启动Broker集群

启动顺序

注意：如果不使用代理proxy模式，启动命令不需要带 --enable-proxy
5.x版本使用代理启动会报错，目前还未找到集群启动代理的方法，后续进行补充

------------2024-03-28-------------------
使用代理模式集群部署可以看我的下一篇文章：Apache RocketMQ5.x使用代理proxy集群部署

1、在123.45.56.789 启动 master1

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 如果不使用代理proxy模式，启动命令不需要带  --enable-proxy
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a.properties --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

2、在987.65.43.211 启动 master2

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 如果不使用代理proxy模式，启动命令不需要带  --enable-proxy
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b.properties --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

3、在987.65.43.211 启动 slave1

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 如果不使用代理proxy模式，启动命令不需要带  --enable-proxy
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a-s.properties --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

4、在123.45.56.789 启动 slave2

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 如果不使用代理proxy模式，启动命令不需要带  --enable-proxy
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b-s.properties --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...
7.2.9.3.查看状态
# 分别在两个服务器执行命令
jps
启动完成，分别在2台服务器查看集群信息：

sh mqadmin clusterlist -n 123.45.56.789:6789
sh mqadmin clusterlist -n 987.65.43.211:6789

或者执行以下命令：
sh mqadmin clusterlist -n localhost:6789
7.2.9.3.开通防火墙端口(防火墙关闭除外)

端口规则说明：

namesrv默认端口：9876
假设broker配置的 ListenPort 端口：10911
则vip 通道端口为：ListenPort - 2 = 10909
则HA 通道端口为： ListenPort + 1 = 10912

例如：987.65.43.211 本次部署了master2和slave1，对应broker配置的 ListenPort 为：12921、13011

根据端口规则，987.65.43.211需开通

master2：12921、12919、12922

slave1：13011、13009、13012

# 开通端口，本次是在987.65.43.211服务器执行，所以开通12921、12919、12922、13011、13009、13012端口
# 查看防火墙是否有此端口
[root@test-webapp-svr20 ~]# firewall-cmd --zone=public --list-ports
80/tcp 81/tcp 82/tcp 83/tcp 88/tcp 443/tcp 3000/tcp 3001/tcp 3306/tcp
# 修改端口
[root@test-webapp-svr20 ~]# firewall-cmd --zone=public --add-port=12921/tcp --permanent --add-port=12919/tcp --permanent --add-port=12922/tcp --permanent --add-port=13011/tcp --permanent  --add-port=13009/tcp --permanent --add-port=13012/tcp --permanent 

# 重启防火墙
[root@test-webapp-svr20 ~]# firewall-cmd --reload

# 123.45.56.789 同样操作

注意：此处开通防火墙，对应服务器安全组也需要开通，生产环境使用内网地址进行交互，则不需要开通

7.2.10.RocketMQ Dashboard配置修改

1、根据上面部署的NameServer的端口，需修改Dashboard配置

# 到Dashboard源码位置
cd /data/service/rocketmq/rocketmq-dashboard-master
# 修改配置文件
vim src/main/resources/application.yml
# 修改完成 编译
mvn clean package -Dmaven.test.skip=true


#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

server:
  port: 8080  # 修改为你想要的配置端口
  servlet:
    encoding:
      charset: UTF-8
      enabled: true
      force: true
## SSL setting
#  ssl:
#    key-store: classpath:rmqcngkeystore.jks
#    key-store-password: rocketmq
#    key-store-type: PKCS12
#    key-alias: rmqcngkey

spring:
  application:
    name: rocketmq-dashboard

logging:
  config: classpath:logback.xml

rocketmq:
  config:
    # if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, default localhost:9876
    # configure multiple namesrv addresses to manage multiple different clusters
    namesrvAddrs:
      - 127.0.0.1:9876 # 根据配置的ip和端口修改 本次为 123.45.56.789:6789
      - 127.0.0.2:9876 # 根据配置的ip和端口修改 本次为 987.65.43.211:6789
    # if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
    isVIPChannel:
    # timeout for mqadminExt, default 5000ms
    timeoutMillis:
    # rocketmq-console's data path:dashboard/monitor
    dataPath: /tmp/rocketmq-console/data
    # set it false if you don't want use dashboard.default true
    enableDashBoardCollect: true
    # set the message track trace topic if you don't want use the default one
    msgTrackTopicName:
    ticketKey: ticket
    # 开启控制台账户密码登录（为true表示开启，为false表示关闭）
    loginRequired: true
    useTLS: false
    # set the accessKey and secretKey if you used acl
    accessKey: # if version > 4.4.0
    secretKey: # if version > 4.4.0

threadpool:
  config:
    coreSize: 10
    maxSize: 10
    keepAliveTime: 3000
    queueSize: 5000

2、配置控制台用户名密码，users.properties

# This file supports hot change, any change will be auto-reloaded without Console restarting.
# Format: a user per line, username=password[,N] #N is optional, 0 (Normal User); 1 (Admin)
 
# Define Admin
# =============用户名和密码规则「用户名=密码,权限」，这里的权限为1表示管理员，为0表示普通用户=============
# 例如：admin=admin123,1
admin=admin123,1
rensen=rensen,1
songmingming=songmingming,1
zhaolei=zhaolei,0
yangzehao=yangzehao,0
qinchunfeng=qinchunfeng,0
liuyang=liuyang,1
zhangbaoqin=zhangbaoqin,0
luxiaomeng=
 
# Define Users
# =============屏蔽下边两个账户=============
#user1=user1
#user2=user2

8.rocket5.x说明

8.1.rocketmq默认端口

端口解释
Nameserver

  • port: 9876(默认)

Controller

  • port: 9878(默认)

Broker

  • port: 10911(默认)

Brocontroller

  • port: listenport - 2 = 10909(默认)

主从同步端口

  • port: 30912

Proxy

  • port: 8081(默认)

Dashboard

  • port: 8080(默认)

8.2.rocketmq5.x架构图

RocketMQ 5.0 为了更好地拥抱云原生，引入了无状态的 Proxy 模块，新的架构图如下：

img

引入 Proxy 模块后，Proxy 承担了协议适配、权限管理、消息管理等计算功能，Broker 则更加专注于存储。这样存储和计算相分离，在云原生环境下可以更好地进行资源调度。

8.3.Proxy 介绍

RocketMQ 5.0 把客户端的部分功能下沉到 Proxy，Proxy 承接了之前 客户端的计算能力，客户端变得更加轻量级。

8.3.1 NameServer

从上面的架构图可以看到，Producer/Consumer 不再需要注册到 NameServer，这一部分功能下移到了 Proxy，由 Proxy 跟 NameServer 进行交互，比如查询 TopicRouteData。代码如下：

public CompletableFuture<QueryRouteResponse> queryRoute(ProxyContext ctx, QueryRouteRequest request) {CompletableFuture<QueryRouteResponse> future = new CompletableFuture<>();try {
    //省略部分代码
    ProxyTopicRouteData proxyTopicRouteData = this.messagingProcessor.getTopicRouteDataForProxy(ctx, addressList, topicName);
    List<MessageQueue> messageQueueList = new ArrayList<>();
    Map<String, Map<Long, Broker>> brokerMap = buildBrokerMap(proxyTopicRouteData.getBrokerDatas());
    TopicMessageType topicMessageType = messagingProcessor.getMetadataService().getTopicMessageType(topicName);
    for (QueueData queueData : proxyTopicRouteData.getQueueDatas()) {
        String brokerName = queueData.getBrokerName();
        Map<Long, Broker> brokerIdMap = brokerMap.get(brokerName);
        if (brokerIdMap == null) {
            break;
        }
        for (Broker broker : brokerIdMap.values()) {
            messageQueueList.addAll(this.genMessageQueueFromQueueData(queueData, request.getTopic(), topicMessageType, broker));
        }
    }
    QueryRouteResponse response = QueryRouteResponse.newBuilder().setStatus(ResponseBuilder.getInstance().buildStatus(Code.OK, Code.OK.name())).addAllMessageQueues(messageQueueList).build();
    future.complete(response);
} catch (Throwable t) {
    future.completeExceptionally(t);
}
    return future;
}

Proxy 适配多种协议，比如 HTTP、gRPC、remoting 等，不同协议的客户端跟 Proxy 建立连接后，Proxy 统一使用 remoting 协议跟 Broker、NameServer 进行通信。

8.3.2 流量控制

客户端所有的请求都要经过 Proxy，Proxy 将流量分发到 Broker。这样在 Proxy 可以进行流量控制和流量治理。

8.3.3 POP 模式

我们知道，PUSH 消费模式下，Broker 中的每个 MessageQueue 只能被同一个 Consumer Group 中的一个消费者消费，如下图：

img

PUSH 模式存在下面几个问题：

  1. 消费者最大数量只能等于 MessageQueue 的数量，消费者数量等于 MessageQueue 的数量后，再增加消费者，也不能提高消费能力了；
  2. 客户端的处理逻辑比较多，比如负载均衡、offset 管理、消费失败后的处理（比如失败消息发送回 Broker）；
  3. 如果一个消费者机器故障，比如上图中 Consumer0 这个消费者 hang 住了，Topic1 下的两个 MessageQueue 就不能被消费了，导致消息积压，最终只能是重启或下线 Consumer0，Consumer 做重平衡；
  4. 客户端很重，如果要用其他语言编写，工作量很大。

基于 PUSH 模式的不足，RocketMQ 5.0 引入了 POP 消费模式，如下图：

img

跟 PUSH 模式消费者相比，POP 模式客户端有如下优势：

  1. POP 模式消费者可以拉取所有的 MessageQueue，这样即使某个消费者 hang 住，也不会影响某一个 MessageQueue 的消费；
  2. POP 模式消费者不再会重平衡，因为每个消费者默认会去所有的 MessageQueue 拉取消息；
  3. 因为消费者可以拉取所有的 MessageQueue 消息，所以，增加消费者数量，是可以提高消费能力的；
  4. 消费者减少了很多逻辑，变得户端轻量化了，可以方便多语言实现；
  5. 消费者不再维护 offset（offset 由 Broker 维护），变成了无状态组件。

**注意：消费者请求 Proxy 时，POP 模式和 PUSH 模式都可以使用，而 Proxy 请求 Broker 时，使用的是 POP 模式，这样可以避免上面提到的一系列问题。**如下图：

img

8.3.4 gRPC

Proxy 基于 gRPC 的标准性、兼容性和多语言传输层代码生成能力，可以轻松构建多语言的轻量级客户端。

8.4 Proxy部署方式

根据不同的场景，Proxy 有两种部署方式，LOCAL 模式和 CLUSTER 模式。

8.4.1 LOCAL 模式

RocketMQ 4.x 版本 Client 和 Broker 直接通信，RocketMQ 5.0 引入 Proxy 后，Client 和 Broker 之间的通信多了一道网络，也增加了一次序列化和反序列化的过程，这势必增加了延迟，对于延迟敏感的场景可能不能接受。RocketMQ 5.0 引入了 LOCAL 模式部署 Proxy，如下图：

img

Proxy 仍然可以适配多种语言的客户端，而且 Proxy 和 Broker 部署在一起，通信方式使用进程内通信，这样可以减少因为多一道网络带来的延迟，提高吞吐量。同时运维也变得简单，运维成本降低。

LOCAL 模式有一个缺点，因为 Proxy 部署在 Broker 端，受网络环境的限制，对于多网络接入的情况并不友好，成本高。

8.4.2 CLUSTER 模式

CLUSTER 模式主要用于对延迟不敏感的场景，Proxy 独立部署，在 Proxy 层适配多网络的接入，同时 Proxy 和 Broker 可以独立扩容，互不影响。如下图：

img

8.4.3 总结

LOCAL 模式更适合对延迟敏感、期望运维成本低、网络接入类型单一的场景。

CLUSTER 模式更适合对延迟要求低、网络接入类型多样的场景。

8.5 集群部署方式

RocketMQ的部署方式有多种：

  • 2m-noslave： 多Master模式，无Slave。[双主模式]
  • 2m-2s-sync： 多Master多Slave模式，同步双写 [双主双从+同步模式]
  • 2m-2s-async：多Master多Slave模式，异步复制 [双主双从+异步模式]

1）同步复制
同步复制方式是等Master和Slave均写 成功后才反馈给客户端写成功状态；
在同步复制方式下，如果Master出故障，Slave上有全部的备份数据，容易恢复，但是同步复制会增大数据写入延迟，降低系统吞吐量。
2）异步复制
异步复制方式是只要Master写成功 即可反馈给客户端写成功状态。
在异步复制方式下，系统拥有较低的延迟和较高的吞吐量，但是如果Master出了故障，有些数据因为没有被写 入Slave，有可能会丢失；
3）配置
同步复制和异步复制是通过Broker配置文件里的brokerRole参数进行设置的，这个参数可以被设置成ASYNC_MASTER、 SYNC_MASTER、SLAVE三个值中的一个。

4）同步刷盘

消息提交到文件内存映射后，将等待同步调用MappedByteBuffer的force()方法写入磁盘后返回给生产者；

5）异步刷盘

消息提交到文件内存映射后，立刻返回给生产者。如下图所示，两种刷盘方式对比

设置刷盘方式和主从复制方式， 尤其是SYNC_FLUSH方式，由于频繁地触发磁盘写动作，会明显降低性能。通常情况下，应该把Master和Save配置成ASYNC_FLUSH的刷盘 方式，主从之间配置成SYNC_MASTER的复制方式，这样即使有一台机器出故障，仍然能保证数不丢，是个不错的选择

/opt/rocket/conf/broker.conf 文件：Broker的配置文件
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

8.5.1.同步刷盘示意图

img

8.5.2. 异步刷盘未开启堆外缓存示意图

img

8.5.3.异步刷盘开启堆外缓存示意图

img

参考：https://blog.csdn.net/ko0491/article/details/109763880、https://blog.csdn.net/gaoliang1719/article/details/106566901

万物~
关注
  • 7
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
RocketMQ 5.x新版本部署优化一览
roykingw的专栏
02-24 3139
RocketMQ 5.x版本快速上手
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 354
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
RocketMQ5.0消费者与消费者的负载均衡
最新发布
m0_61253599的博客
08-03 796
RocketMQ 消费者分为以下几类PushConsumer 、 SimpleConsumer 以及 PullConsumer
Windows单机部署RocketMQ5.X并与SpringBoot集成
Meta39的博客
05-12 694
Windows单机部署RocketMQ5.X并与SpringBoot集成
RocketMQ5.X说明
yanyundi的博客
06-11 881
转视频课程的资料。https://www.bilibili.com/video/BV1tM4y1t7GE?p=17&vd_source=e808ae2655d4a6b4e055400634e615c4
一篇到位，RocketMQ5.x 超详解
qq_33669993的博客
01-10 1426
介绍RocketMQ 5的各种逻辑，重点分析下重试、负载均衡逻辑和pop消费。
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1359
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
博客摘录「 使用docker-compose部署RocketMQ5.x 单机部署+配置参数详解」2023年4月18日
m0_38040684的博客
09-05 181
services:ports:volumes:broker:ports:volumes:ports:
apache-rocketmq-4.7.1.zip
11-27
apache-rocketmq-4.7.1.zip为maven编译构建的apache-rocketmq-4.7.1最新版本，下载后就可以直接使用。另外里面包括了管理控制台工具包，还包括我个人编写的启动和停止脚本。解压后查看启动脚本说明，修改启动脚本里...
RocketMQ的单机部署
weixin_43395911的博客
05-14 2969
1 前言 承接着我的上一篇文章RocketMQ的概念与特性，相信大家对RocketMQ都有了一定地了解，为了进一步深入学习RocketMQ的设计，我们要把它的源码部署起来并启动运行，接下来就一步步让RocketMQ在我们的Mac上跑起来吧！ 2 前置条件 部署前，我们的Mac需要具备如下软件： JDK 1.8 Maven 3.2.X+ IDEA 因为本次的部署需要直接编译RocketMQ源码，构建出RocketMQ可执行包。 3 下载源码 打开RocketMQ在Github上的主页，获取仓库地址，然后在
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
Linux安装部署RocketMQ
SToNE的博客
11-09 1551
Linux安装部署RocketMQ引言安装步骤1. 安装JAVA2. 安装RocketMQ3. 安装Maven4. 编译RocketMQ5. 启动RocketMQ6. 测试RocketMQ7. 关闭 RocketMQ自启动 RocketMQ 引言 阿里巴巴其中一个核心分布式技术是RocketMq ，作为一款分布式的消息中间件，经过了淘宝双十一的洗礼，在功能和性能上远超过activeMq 1.要知道RocketMQ原生就是支持分布式的，而ActiveMQ原生存在单点性。 2.RocketMQ可以保证严格的
大家心心念念的RocketMQ5.x入门手册来喽
中间件兴趣圈
02-12 1702
为了更好的拥抱云原生，RocketMQ5.x架构进行了大的重构，提出了存储与计算分离的设计架构，本文将带领大家快速入门
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1101
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ双主双从集群搭建
男儿当自强
11-24 2194
主从采用同步双写，刷盘采用异步刷盘模式，参考集群（broker cluster）架构如下： 参考前面的RocketMQ集群搭建，上传RocketMQ源码包到各个服务节点，进行编译部署。由于机器内存限制，需要修改运行脚本（runbroker.sh runserver.sh）的默认jvm内存参。在部署broker前还需启动nameserver。 一 部署master a 根据安装目录修正如下路径进入修改配置文件 /usr/local/java/rocketmq/rocketmq/dis..
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3055
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3195
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
单机部署rocketmq
06-02
单机部署RocketMQ的步骤如下： 1. 下载RocketMQ安装包，并解压到指定目录。 2. 配置环境变量，将RocketMQ的bin目录添加到系统的PATH中。 3. 修改配置文件，主要包括broker配置文件和namesrv配置文件，根据需求...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值