Apache RocketMQ5.x使用代理proxy集群部署

已于 2024-03-28 13:26:48 修改
阅读量2.2k 收藏 30
点赞数 14
文章标签： apache 系统安全 rocketmq linux java
于 2024-03-28 11:12:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43459099/article/details/137104191
版权

前言

RocketMQ5.x版本新增了代理模式，之前双主双从部署RocketMQ5.x版本时，使用代理模式启动就会报错，一直未找到原因
并且关于代理的配置文件rmq-proxy.json的相关配置，官网与网上也并没有详细的说明。

img

本文介绍Local模式下双主双从与proxy部署，不多废话，直接上配置

proxy配置文件

路径：/data/service/rocketmq/rocketmq-all-5.1.4-bin-release/config/rmq-proxy.json

注意

{
  // 集群名称 与broker一致
  "rocketMQClusterName": "test-dh-rocketmq-cluster",
  // 代理监听端口
  "remotingListenPort": 9080,
   // gRPC服务器端口
  "grpcServerPort": 9081,
   // 对应namesr的ip
  "namesrvAddr":"123.45.67.891:6789;198.76.54.321:6789"
}

关键点就是namesrvAddr，增加了namesrvAddr后，即可正常启动

rmq-proxy的详解

1. 字段：rocketMQClusterName，代理服务器所属的RocketMQ集群名称，默认为"DefaultCluster"。 
2. 字段：proxyClusterName，代理服务器的集群名称，默认为"DefaultCluster"。 
3. 字段：proxyName，代理服务器的名称，默认为本地主机名。 
4. 字段：localServeAddr，代理服务器的本地服务地址，默认为空字符串。 
5. 字段：heartbeatSyncerTopicClusterName，心跳同步器的主题集群名称，默认为空字符串。 
6. 字段：heartbeatSyncerThreadPoolNums，心跳同步器的线程池大小，默认为4。 
7. 字段：heartbeatSyncerThreadPoolQueueCapacity，心跳同步器的线程池队列容量，默认为100。 
8. 字段：heartbeatSyncerTopicName，心跳同步器的主题名称，默认为"DefaultHeartBeatSyncerTopic"。 
9. 字段：enablePrintJstack，是否启用打印Jstack信息，默认为true。 
10. 字段：printJstackInMillis，打印Jstack信息的间隔时间，默认为60秒。 
11. 字段：printThreadPoolStatusInMillis，打印线程池状态的间隔时间，默认为3秒。 
12. 字段：namesrvAddr，NameServer的地址，默认从环境变量或系统属性中获取。 
13. 字段：namesrvDomain，NameServer的域名，默认为空字符串。 
14. 字段：namesrvDomainSubgroup，NameServer的子组名称，默认为空字符串。 
15. 字段：tlsTestModeEnable，是否启用TLS测试模式，默认为true。 
16. 字段：tlsKeyPath，TLS密钥的路径，默认为配置文件中的路径。 
17. 字段：tlsCertPath，TLS证书的路径，默认为配置文件中的路径。 
18. 字段：proxyMode，代理服务器的模式，默认为"CLUSTER"。 
19. 字段：grpcServerPort，gRPC服务器的端口号，默认为8081。 
20. 字段：grpcShutdownTimeSeconds，gRPC服务器关闭的超时时间，默认为30秒。 
21. 字段：grpcBossLoopNum，gRPC服务器的Boss线程数，默认为1。 
22. 字段：grpcWorkerLoopNum，gRPC服务器的Worker线程数，默认为处理器数量的2倍。 
23. 字段：enableGrpcEpoll，是否启用gRPC的Epoll模型，默认为false。 
24. 字段：grpcThreadPoolNums，gRPC服务器的线程池大小，默认为16 + 处理器数量的2倍。 
25. 字段：grpcThreadPoolQueueCapacity，gRPC服务器的线程池队列容量，默认为100000。 
26. 字段：brokerConfigPath，Broker配置文件的路径，默认为配置文件中的路径。 
27. 字段：grpcMaxInboundMessageSize，gRPC服务器接收的最大消息大小，默认为130MB。 
28. 字段：maxMessageSize，消息的最大大小，默认为4MB。 
29. 字段：maxUserPropertySize，用户属性的最大大小，默认为16KB。 
30. 字段：userPropertyMaxNum，用户属性的最大数量，默认为128。 
31. 字段：maxMessageGroupSize，消息组的最大大小，默认为64。 
32. 字段：defaultInvisibleTimeMills，消息弹出后的默认不可见时间，默认为60秒。 
33. 字段：minInvisibleTimeMillsForRecv，消息接收后的最小不可见时间，默认为10秒。 
34. 字段：maxInvisibleTimeMills，消息的最大不可见时间，默认为12小时。 
35. 字段：maxDelayTimeMills，消息的最大延迟时间，默认为1天。 
36. 字段：maxTransactionRecoverySecond，事务恢复的最大时间，默认为1小时。 
37. 字段：enableTopicMessageTypeCheck，是否启用主题消息类型的检查，默认为true。 
38. 字段：grpcClientProducerMaxAttempts，gRPC客户端生产者最大重试次数，默认为3。 
39. 字段：grpcClientProducerBackoffInitialMillis，gRPC客户端生产者退避初始间隔时间，默认为10毫秒。 
40. grpcClientProducerBackoffMaxMillis：设置gRPC客户端生产者在重试时的最大退避时间间隔为1秒。  
41. grpcClientProducerBackoffMultiplier：设置gRPC客户端生产者重试时退避时间的乘数因子为2，意味着每次失败后等待的时间将成倍增加。  
42. grpcClientConsumerMinLongPollingTimeoutMillis 和 grpcClientConsumerMaxLongPollingTimeoutMillis 分别设置了gRPC客户端消费者长轮询请求的最小和最大超时时间（分别为5秒和20秒）。  
43. grpcClientConsumerLongPollingBatchSize：设置gRPC客户端消费者进行长轮询请求时一次性拉取的消息批次大小为32条。  
44. grpcClientIdleTimeMills：设置gRPC客户端空闲超时时间为120秒，在这段时间内如果没有通信活动，则可能被关闭或回收资源。  
45. channelExpiredInSeconds 和 contextExpiredInSeconds 分别指定了连接通道和上下文的有效期（分别以秒为单位，分别是60秒和30秒）。  
46. rocketmqMQClientNum：设定RocketMQ客户端实例的数量为6个。  
47. grpcProxyRelayRequestTimeoutInSeconds：设置代理转发请求的超时时间为5秒。  
48. 后续一系列的 ThreadPoolNums 和 ThreadQueueCapacity 参数用于配置不同功能模块的线程池数量和队列容量，例如生产者、消费者、路由处理等，这些参数用于调整并发处理能力以及防止任务堆积。  
49. topicRouteServiceCache... 相关参数：用于缓存Topic路由信息的服务，包括缓存过期时间、刷新频率、缓存最大数量以及对应的线程池大小和队列容量。  
50. transactionHeartbeat... 相关参数：涉及事务心跳相关的线程池大小、队列容量、心跳周期、批量处理数目以及事务数据的过期扫描、清理等待时间和过期时间等，用以维护分布式事务的正确性和一致性。  
51. longPollingReserveTimeInMillis：长轮询预留时间（毫秒），可能是为了确保在处理长轮询请求时留出一定余量。  
52. invisibleTimeMillisWhenClear：当清除消息时，默认不可见时间（毫秒）。  这些配置参数共同决定了RocketMQ代理服务的性能、容错性、事务处理能力和资源利用率等方面的关键特性。

双主双从安装

1. 服务器环境

ip （外/内）角色架构模式
123.45.67.891/192.168.0.162nameserver1:6789、broker-master1:12911、broker-slave2:13021Master1、Slave2
198.76.54.321/192.168.0.128nameserver2:6789、broker-master2:12921、broker-slave1:13011Master2、Slave1

1.2.开通端口

每个服务器需开放七个端口，生产可以进行调整端口

namesrv

  • 6789

broker主节点

  • 12911、12909、12912

broker从节点

  • 13011、13009、13012

proxy

  • 9081、9082

端口规则说明：

namesrv默认端口：9876
假设broker配置的 ListenPort 端口：10911
则vip 通道端口为：ListenPort - 2 = 10909
则HA 通道端口为： ListenPort + 1 = 10912

2. 部署

本次在开发和测试环境部署rocketmq采用SYNC_MASTER 同步双写，ASYNC_FLUSH 异步刷盘进行

注：关于同步复制、异步复制、同步刷盘与异步刷盘区别，请看上一篇文章Apache RocketMQ5.x 介绍及单机&双主双从部署的8.5专项解释

2.1.host解析

# 服务器123.45.67.891
vim /etc/hosts
# nameserver
123.45.67.891   nameserver1 # 6789
198.76.54.321   nameserver2 # 6789
# broker
123.45.67.891   broker-master1 # 12911
123.45.67.891   broker-slave2 # 13021
198.76.54.321   broker-master2 # 12921
198.76.54.321   broker-slave1 # 13011
# 配置完成后，重启网卡
systemctl restart network
service network restart
# Centos 8 重启网卡
nmcli c reload



# 服务器198.76.54.321
vim /etc/hosts
# nameserver
123.45.67.891   nameserver1 # 6789
198.76.54.321   nameserver2 # 6789
# broker
123.45.67.891   broker-master1 # 12911
123.45.67.891   broker-slave2 # 13021
198.76.54.321   broker-master2 # 12921
198.76.54.321   broker-slave1 # 13011
# 配置完成后，重启网卡
systemctl restart network
# Centos 8 重启网卡
nmcli c reload

2.2.安全组配置

为了安全只开放特定的端口号：6789（NameServer1 和 NameServer2）、12911（Master1）、12921（Master2）、13011（Slave1）、13021（Slave2）、9081（proxy1）、9082(proxy2)

2.3.创建消息存储路径

1号服务器：123.45.67.891

mkdir -p /data/service/rocketmq/store/broker-a/commitlog

mkdir -p /data/service/rocketmq/store/broker-a/consumequeue

mkdir -p /data/service/rocketmq/store/broker-a/index

mkdir -p /data/service/rocketmq/store/broker-b-s/commitlog

mkdir -p /data/service/rocketmq/store/broker-b-s/consumequeue

mkdir -p /data/service/rocketmq/store/broker-b-s/index

2号服务器 ：198.76.54.321

mkdir -p /data/service/rocketmq/store/broker-b/commitlog

mkdir -p /data/service/rocketmq/store/broker-b/consumequeue

mkdir -p /data/service/rocketmq/store/broker-b/index

mkdir -p /data/service/rocketmq/store/broker-a-s/commitlog

mkdir -p /data/service/rocketmq/store/broker-a-s/consumequeue

mkdir -p /data/service/rocketmq/store/broker-a-s/index

2.4. broker配置文件

分别在2台服务器上执行以下命令，编辑 broker.conf 文件，改成对应服务器的外网IP

# 两台服务器同时执行
# 服务器 123.45.67.891
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/broker.conf

namesrvAddr=198.76.54.321:9876
brokerIP=198.76.54.321

# 服务器 198.76.54.321
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/broker.conf

namesrvAddr=198.76.54.321:9876
brokerIP=198.76.54.321
2.4.1. master1(服务器一)

服务器一：123.45.67.891、192.168.0.162

broker-a.properties
# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a.properties


#Broker服务地址
brokerIP1=123.45.67.891
brokerIP2=123.45.67.891
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=123.45.67.891:6789;198.76.54.321:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=12911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-a/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-a/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
rmq-proxy-a.json
# 创建代理配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-a.json
{
  // 集群名称 与broker一致
  "rocketMQClusterName": "test-dh-rocketmq-cluster",
  // 代理监听端口
  "remotingListenPort": 9080,
   // gRPC服务器端口
  "grpcServerPort": 9081,
   // 对应namesr的ip
  "namesrvAddr":"123.45.67.891:6789;198.76.54.321:6789"
}
2.4.2. slave2(服务器一)

服务器一：123.45.67.891、192.168.0.162

broker-b-s.properties
# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b-s.properties


#Broker服务地址
brokerIP1=123.45.67.891
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=123.45.67.891:6789;198.76.54.321:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=13021
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-b-s/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-b-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
rmq-proxy-b-s.json
# 创建代理配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-b-s.json
{
  // 集群名称 与broker一致
  "rocketMQClusterName": "test-dh-rocketmq-cluster",
  // 代理监听端口
  "remotingListenPort": 9083,
   // gRPC服务器端口
  "grpcServerPort": 9082,
   // 对应namesr的ip
  "namesrvAddr":"123.45.67.891:6789;198.76.54.321:6789"
}
2.4.3. master2(服务器二)

服务器一：198.76.54.321、192.168.0.128

broker-b.properties
# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b.properties


#Broker服务地址,设置broker节点所在服务器的ip地址（这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1=198.76.54.321
brokerIP2=198.76.54.321
#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=123.45.67.891:6789;198.76.54.321:6789
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口
listenPort=12921
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-b
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-b/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-b/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-b/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-b/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
rmq-proxy-b.json
# 创建代理配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-b.json
{
  // 集群名称 与broker一致
  "rocketMQClusterName": "test-dh-rocketmq-cluster",
  // 代理监听端口
  "remotingListenPort": 9080,
   // gRPC服务器端口
  "grpcServerPort": 9081,
   // 对应namesr的ip
  "namesrvAddr":"123.45.67.891:6789;198.76.54.321:6789"
}
2.4.4. slave1(服务器二)

服务器一：198.76.54.321、192.168.0.128

broker-a-s.properties
# 修改同步复制配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a-s.properties


#所属集群名字
brokerClusterName=test-dh-rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=123.45.67.891:6789;198.76.54.321:6789
#安装可视化界面使用，需要是IP，不能是host
#设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1=198.76.54.321
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
#进行发消息时，必须要指定topic，对于topic的设置有一个开关autoCreateTopicEnable，一#般在开发测试环境中会使用默认设置autoCreateTopicEnable = true，但是这样就会导致#topic的设置不容易规范管理，没有统一的审核。所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable = false。这样当需要增加topic时就需要在web管理界面上#添加即可。
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#Broker 对外服务的监听端口，如果从节点是单独服务器，则可以使用默认端口19011
listenPort=13011
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/service/rocketmq/store/broker-a-s
#commitLog 存储路径
storePathCommitLog=/data/service/rocketmq/store/broker-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/service/rocketmq/store/broker-a-s/consumequeue
#消息索引存储路径
storePathIndex=/data/service/rocketmq/store/broker-a-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/service/rocketmq/store/broker-a-s/checkpoint
#abort 文件存储路径
abortFile=/data/service/rocketmq/store/broker-a-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
rmq-proxy-a-s.json
# 创建代理配置文件
vim /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-a-s.json
{
  // 集群名称 与broker一致
  "rocketMQClusterName": "test-dh-rocketmq-cluster",
  // 代理监听端口
  "remotingListenPort": 9083,
   // gRPC服务器端口
  "grpcServerPort": 9082,
   // 对应namesr的ip
  "namesrvAddr":"123.45.67.891:6789;198.76.54.321:6789"
}

2.5.服务启动

2.5.1.启动NameServer集群

分别在服务器一和服务器二启动NameServer1 和 NameServer2

# 两个服务器都需要操作
#在rocketmq的conf目录下添加namesrv.properties文件，文件中添加端口配置
listenPort=6789
### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 启动namesrv
[admin@test-webapp-svr20 bin] nohup sh mqnamesrv -c ../conf/namesrv.properties &

### 验证namesrv是否启动成功
[admin@test-webapp-svr20 bin] tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
2.5.2.启动Broker集群

启动顺序

注意：如果不使用代理proxy模式，启动命令不需要带 --enable-proxy 和-pc

1、在123.45.67.891 启动 master1

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a.properties -pc /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-a.json --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

2、在198.76.54.321 启动 master2

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b.properties -pc /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-b.json --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

3、在198.76.54.321 启动 slave1

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker  第二步使用的是默认的proxy配置文件，第三步使用指定配置文件，对应的proxy的端口不一致
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-a-s.properties -pc /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-a-s.json --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...

4、在123.45.67.891 启动 slave2

### 到安装目录下
[admin@test-webapp-svr20 rocketmq] cd /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/bin
### 先启动broker 
[admin@test-webapp-svr20 bin] nohup sh mqbroker -c /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/broker-b-s.properties -pc /data/service/rocketmq/rocketmq-all-5.1.4-bin-release/conf/2m-2s-sync/rmq-proxy-b-s.json --enable-proxy &
### 验证broker是否启动成功, 比如, broker的ip是192.168.1.2 然后名字是broker-a
[admin@test-webapp-svr20 bin] tail -1000f ~/logs/rocketmqlogs/proxy.log 
The broker[broker-a,192.169.1.2:10911] boot success...
2.5.3.查看状态
# 分别在两个服务器执行命令
jps
启动完成，分别在2台服务器查看集群信息：

    sh mqadmin clusterlist -n 123.45.67.891:6789
sh mqadmin clusterlist -n 198.76.54.321:6789

或者执行以下命令：
sh mqadmin clusterlist -n localhost:6789
2.5.3.开通防火墙端口(防火墙关闭除外)

端口规则说明：

namesrv默认端口：9876
假设broker配置的 ListenPort 端口：10911
则vip 通道端口为：ListenPort - 2 = 10909
则HA 通道端口为： ListenPort + 1 = 10912

例如：198.76.54.321 本次部署了master2和slave1，对应broker配置的 ListenPort 为：12921、13011

根据端口规则，198.76.54.321需开通

master2：12921、12919、12922、9081

slave1：13011、13009、13012、9082

# 开通端口，本次是在198.76.54.321服务器执行，所以开通12921、12919、12922、13011、13009、13012端口
# 查看防火墙是否有此端口
[root@test-webapp-svr20 ~]# firewall-cmd --zone=public --list-ports
80/tcp 81/tcp 82/tcp 83/tcp 88/tcp 443/tcp 3000/tcp 3001/tcp 3306/tcp
# 修改端口
[root@test-webapp-svr20 ~]# firewall-cmd --zone=public --add-port=12921/tcp --permanent --add-port=12919/tcp --permanent --add-port=12922/tcp --permanent --add-port=13011/tcp --permanent  --add-port=13009/tcp --permanent --add-port=13012/tcp --permanent 

# 重启防火墙
[root@test-webapp-svr20 ~]# firewall-cmd --reload

# 123.45.67.891 同样操作

注意：此处开通防火墙，对应服务器安全组也需要开通，生产环境使用内网地址进行交互，则不需要开通

万物~
关注
  • 14
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
RocketMQ 5.0 时代，6 张图带你理解 Proxy！
m0_73311735的博客
04-11 1451
RocketMQ 5.0 把客户端的部分功能下沉到 Proxy，Proxy 承接了之前 客户端的计算能力，客户端变得更加轻量级。LOCAL 模式更适合对延迟敏感、期望运维成本低、网络接入类型单一的场景。CLUSTER 模式更适合对延迟要求低、网络接入类型多样的场景。RocketMQ 5.0 跟之前的版本相比，改动很大，更加地拥抱云原生。学习 RocketMQ 5.0，首先要理解 Proxy，希望本文能对您理解 Proxy 有所帮助。
RocketMQ 5.0: 存储计算分离新思路
阿里云技术
06-09 277
在阿里云上，RocketMQ 的商业化产品也以弹性云服务的形式为全球数万个用户提供企业级的消息解决方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景，成为了业务开发的首选消息中间件。...
详细！完全经过实践的rocketmq5集群搭建教程，两主两从5.2proxy版本部署
gjystww的博客
04-18 2031
详细记录搭建一套rocketmq异步刷盘集群，已经踩过一些坑并在文中标注，可以放心使用
Docker 部署 RocketMQ 5.0
心若有所向往，何惧道阻且长。
06-14 957
Docker 部署 RocketMQ 5.0
Rocketmq 5.x 开启proxy导致8080/8081端口冲突
SXK的进阶之路
08-24 2322
在本地测试rocketmq 5.x的版本，所有组件都部署在自己的测试 VM 上，启动从broker的时候出现了端口冲突的问题。找了一圈文档上也没有写，研究了一下配置，记录一下。在 proxyConfig.json 文件中输入如下内容，端口按实际需要修改。默认：grpc的端口是8081，远程监听端口是8080。修改 conf 目录下 rmq-proxy.json。
【RocketMQ】RocketMQ 5.1.0版本Proxy集群模式部署实践
浩瀚宇宙的一粒尘埃
03-28 6868
为了支持长远的云原生发展，RocketMQ引入了一个全新的模块：Proxy，官方对RocketMQ客户端提供了独立的开源项目：https://github.com/apache/rocketmq-clients，如果要使用这个新的客户端，必须要使用Proxy作为endpoint。
RocketMQ 5.0 本地源码启动Cluster模式指南
念念不忘，必有回响
02-13 1436
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
RocketMQ5.0新组件Proxy
程序员小潘
01-03 1385
RocketMQ 4.x 版本之前，一套完整的 MQ 服务包含的组件有：Namesrv、Broker、Consumer、Producer。RocketMQ 5.0 版本之后，官方引入了一个新的组件：Proxy，它的作用是什么呢？
RocketMQ5 版本解决启用 Proxy 端口8081被占用问题
zooah212的专栏
11-23 4640
RocketMQ 5.x.x 版本 proxy 8081 端口被占用问题
生于云、长于云，RocketMQ 5.0 再出发
阿里巴巴云原生的博客
08-07 1748
万物皆云的时代，RocketMQ 让数字化转型更简单高效，也将消息、事件、流的价值最大程度释放。Apache RocketMQ 将不断推动技术演进与落地实践，帮助企业真正实现高质量数字化转型与创新。
Apache RocketMQ5.x-消息队列体验
老杜的博客
07-18 1188
是一款低延迟、高并发、高可用、高可靠的分布式消息中间件，由阿里开源，后由阿里捐赠给Apache基金会。本次体验的目的是从技术角度验证一下在微服架构中，用Apache RocketMQ做为消息队列，做为模块之间解耦，以及主要验证是否要以做为异步消息队列进行投递消息。
Scrapy爬取books.toscrape.com使用ProxyPool代理池示例
12-23
在进行大规模网络爬取时，为了防止IP被目标网站封禁，我们常常需要使用代理服务器，这就是代理池（Proxy Pool）的用处。在这个示例中，我们将探讨如何在Scrapy项目中集成ProxyPool，以在爬取books.toscrape.com这个...
node.js使用 http-proxy 创建代理服务器操作示例
10-15
proxy.on('error', function (err) { console.log(err); }); }); server.listen(8888, '0.0.0.0'); ``` 这里，`createProxyServer()` 方法用于创建代理服务器，`web()` 方法则将请求转发到指定的目标。`target`...
vue（2.x，3.0）配置跨域代理
10-15
主要介绍了vue（2.x，3.0）配置跨域代理，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
proxy.rar_delphi Proxy_proxy server_代理 delphi_代理服务器
07-14
用delphi编写设计一款自己的代理服务器软件，实现思路：当前流行的浏览器的系统选项中有一个参数，即“通过代理服务器连接”，经过编程测试，当局域网中一台工作站指定了该属性，再发出Internet请求时，请求数据将...
org.apache.aries.proxy-1.1.9-source-release.zip
03-05
Aries项目正在提供一组可插入的Java组件，以支持... 这包括由OSGi联盟企业专家组（EEG）定义的以应用程序为中心的规范的实现和扩展，以及用于多捆绑应用程序的组装格式，以便将其部署到各种基于OSGi的运行时中。aries
RocketMQProxy架构ACL动态授权
最新发布
weixin_47585404的博客
07-16 642
rocketmq proxy架构的acl 实现动态授权
Vue 3.x 中采用 Proxy 对象进行数据劫持 详解
05-25
在 Vue 2.x 中，使用的是 Object.defineProperty() 进行数据劫持，但是这种方法有一些缺点，比如无法监听数组的变化，还需要递归遍历对象属性进行绑定。 在 Vue 3.x 中，采用了 Proxy 对象进行数据劫持。Proxy 对象可以拦截对象的读取、赋值、删除等操作，比 Object.defineProperty() 更加强大。 下面我们来看一下 Proxy 对象在 Vue 3.x 中的应用。 首先，我们创建一个 reactive 函数，它接收一个普通对象，返回一个响应式的对象。 ```javascript function reactive(obj) { return new Proxy(obj, { get(target, key) { console.log('get', key) return Reflect.get(target, key) }, set(target, key, value) { console.log('set', key, value) return Reflect.set(target, key, value) }, deleteProperty(target, key) { console.log('delete', key) return Reflect.deleteProperty(target, key) } }) } ``` 上面的代码中，我们创建了一个 Proxy 对象，其中 get、set、deleteProperty 方法分别对应了读取、赋值、删除操作。在这些方法中，我们可以打印出操作的类型以及操作的属性名，方便我们调试。 接下来，我们创建一个普通对象，并使用 reactive 函数将其转为响应式对象。 ```javascript const obj = reactive({ name: 'Tom', age: 18, hobbies: ['reading', 'music'] }) ``` 现在，我们可以通过访问 obj 的属性来触发 get、set、deleteProperty 方法。 ```javascript console.log(obj.name) // 输出 get name, Tom obj.age = 20 // 输出 set age 20 delete obj.hobbies // 输出 delete hobbies ``` 可以看到，我们成功地拦截了对象的读取、赋值、删除操作，并打印出了相关信息。 除了上述常用的方法外，Proxy 还有许多其他的拦截方法，如 has、apply、construct 等，可以满足更多的需求。 总的来说，Vue 3.x 中采用 Proxy 对象进行数据劫持，使得响应式系统更加强大、灵活，提高了开发效率，是一个非常不错的改进。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值