RocketMQ-双主双从集群+DashBorad搭建(云服务器)

已于 2022-12-22 22:37:35 修改
阅读量1.7k 收藏 1
点赞数 2
分类专栏： 常用中间件【不会找不到工作】 文章标签： rocketmq 腾讯云 阿里云 集群
于 2022-12-22 22:06:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49183244/article/details/128413361
版权

文章目录

一、理论垫基础

在上一期中我们提到了RocketMQ的一些基础知识，在本篇博客中基于理论实战部署一下吧～
在这里插入图片描述
由RocketMQ网络部署图得知，RocketMQ中主要涉及到四种角色：NameServer注册服务器、Broker服务器、Producer生产者、Consumer消费者。每种角色都可以单独搭建集群，下面我们详细介绍一个NameServer集群、Broker集群、Producer集群、Consumer集群。

1. NameServer 集群

NameServer通常会有多个实例部署，不过 NameServer 是无状态的，即 NameServer 集群中的各个节点间是无差异的，各节点间相互不进行信息通讯。在 NameServer 内部维护着一个 Broker 列表，用来动态存储 Broker的信息。当 Broker 节点启动时，会轮询 NameServer 列表，与每个 NameServer 节点建立长连接，并发起 注册请求。所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，客户端仍然可以向其它NameServer获取路由信息。

2. Producer集群

Producer 与 NameServer集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 取 Topic 路由信息，并向提供 Topic 服务的 Master 建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

3. Consumer集群

Consumer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 取 Topic 路由信息，并向提供 Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从 Slave 订阅消息，订阅规则由 Broker 配置决定。

4. Broker集群

对于整个RocketMQ集群的部署，Name server、producer、consumer之间都是无状态的，集群中的每个节点都是一样的。

Broker 的部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master。Master与Slave的对应关系通过指定相同的BrokerName，即多个节点指定相同的BrokerName表示是同一组的。节点的区分是由不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定期注册Topic信息到所有NameServer。

4.1 节点间数据同步 以及 消息的持久化

在这里插入图片描述

复制策略

既然 Broker 分为主从节点，那么Master与Slave 之间是如何进行数据同步呢？

关于 Broker 的Master与Slave间的数据同步方式我们称为复制策略，分为同步复制与异步复制两种方式。

  • 同步复制，即消息写入Master后，Master会等待Slave同步数据成功后才向Producer返回成功ACK；
  • 异步复制，即消息写入Master后，Master立即向Producer返回成功ACK，无需等待Slave同步数据成功。

其中异步复制策略会降低系统的写入延迟，RT变小，提高了系统的吞吐量。

刷盘策略

当消息发送到broker内存后消息如何持久化到磁盘呢？

刷盘策略，指的是Broker中消息的落盘方式，即消息发送到Broker内存后消息持久化到磁盘的方式。也分为同步刷盘与异步刷盘两种方式。

  • 同步刷盘，即当消息持久化到Broker的磁盘后才算是消息写入成功；
  • 异步刷盘，即当消息写入到Broker的内存后即表示消息写入成功，无需等待消息持久化到磁盘。

消息写入到Broker的内存，一般是写入了PageCache。对于异步刷盘策略，消息会写入到PageCache后立即返回成功ACK，但并不会立即做落盘操作，而是当PageCache到达一定量时才会自动进行落盘。异步刷盘策略会降低系统的写入延迟，RT变小，提高了系统的吞吐量。

4.2 Broker的集群模式

根据Broker集群中各个节点间关系的不同，Broker集群可以分为以下几类：

4.2.1、单Master模式

只有一个 Broker (其本质上就不能称为集群) .

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用，可以用于本地测试。

4.2.2、多Master模式

broker集群仅由多个master构成，不存在Slave。

同一Topic的各个Queue会平均分布在各个master节点上。

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器 宕机不可恢复情况下，由于RAID10盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步 刷盘一条不丢），性能最高；
    (以上优点的前提是，这些Master都配置了RAID磁盘阵列。如果没有配置，一旦出现某Master宕机，则会发生大量消息丢失的情况。)
  • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅（不可消费）， 消息实时性会受到影响。
4.2.3、多Master多Slave模式-异步复制

​ broker集群由多个master构成，每个master又配置了多个slave（在配置了RAID磁盘阵列的情况下，一 个master一般配置一个slave即可）。

master与slave的关系是主备关系:

  • master负责处理消息的读写请求 ;
  • slave仅负责消息的备份与master宕机后的角色切换。

HA采用异步复制方式，主备之间有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应透明，不需要人工干预，性能同多Master模式一样。
  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

​ 异步复制 即前面所讲的复制策略中的异步复制策略，即消息写入master成功后，master立即向producer返回成功ACK，无需等待slave同步数据成功。 该模式的最大特点之一是，当master宕机后slave能够自动切换为master。不过由于slave从master的同步具有短暂的延迟（毫秒级），所以当master宕机后，这种异步复制方式可能会存在少量消息的丢失问题。( Slave从Master同步的延迟越短，其可能丢失的消息就越少对于Master的RAID磁盘阵列，若使用的也是异步复制策略，同样也存在延迟问题，同样也可能会丢失消息。但RAID阵列的秘诀是微秒级的（因为是由硬盘支持的），所以其丢失的数据量会更少。)

4.2.4、多Master多Slave模式-同步双写

​ 该模式是多Master多Slave模式的 同步复制 实现。所谓同步双写，指的是消息写入master成功后， master会等待slave同步数据成功后才向producer返回成功ACK，即: master与slave都要写入成功后才会返回成功ACK，也即双写。

​ 该模式与异步复制模式相比，优点是消息的安全性更高，不存在消息丢失的情况。但单个消息的RT略高，从而导致性能要略低（大约低10%）。 该模式存在一个大的问题：对于目前的版本，Master宕机后，Slave不会自动切换到Master。

最佳实践

一般会 为Master配置RAID10磁盘阵列，然后再为其配置一个Slave。 即利用了RAID10磁盘阵列的高效、安全性，又解决了可能会影响订阅的问题。

  1. RAID磁盘阵列的效率要高于Master-Slave集群。因为RAID是硬件支持的。也正因为如此， 所以RAID阵列的搭建成本较高。
  2. 多Master+RAID阵列，与多Master多Slave集群的区别是什么？
    • 多Master+RAID阵列，其仅仅可以保证数据不丢失，即不影响消息写入，但其可能会影响到消息的订阅。但其执行效率要远高于多Master多Slave集群
    • 多Master多Slave集群，其不仅可以保证数据不丢失，也不会影响消息写入。其运行效率要低 于多Master+RAID阵列

4.3 RAID（补充知识）

关于RAID相关的知识科班同学可以跳过啦～

RAID历史

​ 1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Inexpensive Disks” 中提出RAID 概念 ，即廉价冗余磁盘阵列（ Redundant Arrayof Inexpensive Disks ）。由于当时大容量磁盘比较昂贵， RAID 的基本思想是将多个容量较小、相对廉价的磁盘进行有机组合，从而以较低的成本获得与昂贵大容量磁盘相当的容量、性能、可靠性。随着磁盘成本和价格的不断降低， “廉价” 已经毫无意义。因此， RAID咨询委员会（ RAID Advisory Board, RAB ）决定用 “ 独立 ” 替代 “ 廉价 ” ，于时 RAID 变成了独立磁盘冗余阵列（ Redundant Array of Independent Disks ）。但这仅仅是名称的变化，实质内容没有改变。

RAID等级

​ RAID这种设计思想很快被业界接纳， RAID技术作为高性能、高可靠的存储技术，得到了非常广泛的应用。 RAID主要利用镜像、数据条带和数据校验三种技术来获取高性能、可靠性、容错能力和扩展性，根据对这三种技术的使用策略和组合架构，可以把 RAID分为不同的等级，以满足不同数据应用的需求。
​ D. A. Patterson 等的论文中定义了 RAID0 ~ RAID6 原始 RAID 等级。随后存储厂商又不断推出 RAID7 、 RAID10、RAID01 、 RAID50 、 RAID53 、 RAID100 等 RAID 等级，但这些并无统一的标准。目前业界与学术界公认的标准是 RAID0 ~ RAID6 ，而在实际应用领域中使用最多的 RAID 等级是 RAID0 、 RAID1 、 RAID3 、 RAID5 、 RAID6 和 RAID10。 RAID每一个等级代表一种实现方法和技术，等级之间并无高低之分。在实际应用中，应当根据用户的数据应用特点，综合考虑可用性、性能和成本来选择合适的RAID 等级，以及具体的实现方式。

4.3.1 关键技术

镜像技术

​ 镜像技术是一种冗余技术，为磁盘提供数据备份功能，防止磁盘发生故障而造成数据丢失。

​ 对于 RAID 而言，采用镜像技术最典型地的用法就是，同时在磁盘阵列中产生两个完全相同的数据副本，并且分布在两个不同的磁盘上。镜像提供了完全的数据冗余能力，当一个数据副本失效不可用时，外部系统仍可 正常访问另一副本，不会对应用系统运行和性能产生影响。而且，镜像不需要额外的计算和校验，故障修复非常快，直接复制即可。镜像技术可以从多个副本进行并发读取数据，提供更高的读 I/O 性能，但不能并行写数据，写多个副本通常会导致一定的 I/O 性能下降。 镜像技术提供了非常高的数据安全性，其代价也是非常昂贵的，需要至少双倍的存储空间。高成本限制了镜像的广泛应用，主要应用于至关重要的数据保护，这种场合下的数据丢失可能会造成非常巨大的损失。

数据条带技术

​ 数据条带化技术是一种自动将 I/O操作负载均衡到多个物理磁盘上的技术。更具体地说就是，将一块连续的数据分成很多小部分并把它们分别存储到不同磁盘上。这就能使多个进程可以并发访问数据的多个不同部分，从而获得最大程度上的 I/O 并行能力，极大地提升性能。

数据校验技术

​ 数据校验技术是指， RAID 要在写入数据的同时进行校验计算，并将得到的校验数据存储在 RAID 成员 磁盘中。校验数据可以集中保存在某个磁盘或分散存储在多个不同磁盘中。当其中一部分数据出错时， 就可以对剩余数据和校验数据进行反校验计算重建丢失的数据。
数据校验技术相对于镜像技术的优势在于节省大量开销，但由于每次数据读写都要进行大量的校验运算，对计算机的运算速度要求很高，且必须使用硬件 RAID 控制器。在数据重建恢复方面，检验技术比镜像技术复杂得多且慢得多。

二、双主双从集群搭建【云服务器实战】

本次基于两台云服务器搭建RocketMQ集群，Broker采取双主双从，同步双写方式。先看看总体架构：
在这里插入图片描述
RocketMQ集群工作流程

  1. 启动NameServer。NameServer启动后监听端口，等待Broker、Producer、Consumer连接，相当于一个路由控制中心。
  2. 启动 Broker。与所有 NameServer 保持长连接，定时发送心跳包。心跳包中包含当前 Broker 信息（IP+端口等）以及存储所有 Topic 信息。注册成功后，NameServer 集群中就有 Topic跟Broker 的映射关系。
  3. 首发消息前，先创建 Topic ，创建Topic时需要指定该 Topic 要存储在哪些 Broker 上，也可以在发送消息时自动创建Topic。
  4. 生产者发送消息。启动时先跟 NameServer 集群中的其中一台建立长连接，并从 NameServer 中获取当前发送的 Topic存在于哪些 Broker 上，轮询从队列列表中选择一个队列，然后与队列所在的 Broker建立长连接从而向 Broker发消息。
  5. 消费者接受消息。跟其中一台Nam

1. 环境准备

首先我们需要准备两台云服务器，小编使用的分别是两核4G的腾讯云 和 1核两G的阿里云 ，系统都是 CentOS7。

序号IP角色架构模式服务器商
1124.222.223.222Nameserver、BrokerMaster1、Slave2腾讯云
247.96.232.192Nameserver、BrokerMaster2、Slave1阿里云

在这里插入图片描述
服务器需要具备java环境、RocketMQ包，以及足够的空闲内存。关于java、RocketMQ的下载不是本文的重点就不再一一演示了～
在这里插入图片描述

第一步、Host添加信息

1、需要在两台Host添加以下信息：

vim /etc/hosts

配置如下：

# nameserver
124.222.223.222 rocketmq-nameserver1
47.96.232.192 rocketmq-nameserver2
# broker
124.222.223.222 rocketmq-master1
124.222.223.222 rocketmq-slave2
47.96.232.192 rocketmq-master2
47.96.232.192 rocketmq-slave1

配置完成后，重启网卡：

systemctl restart network

大家根据自己的服务器ip更换以上hosts文件内容。

第二步、配置防火墙

节点之间需要通信，需要开放相关的端口，或者简单粗暴的方式——直接关闭防火墙。小编为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：8976、10911、11011、11009。

  • nameserver默认使用 9876 端口；
  • Master 默认使用 10911 端口；
  • Slave 默认使用 11011 端口。
    在这里插入图片描述

第三步、配置环境变量

vim /etc/profile

在profile文件的末尾加入以下命令：

# rocketMQ
ROCKETMQ_HOME=/soft/RocketMQ/rocketmq-all-4.9.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1sCn9c9p-1671715596559)(RocketMQ-RocketMQ集群搭建.assets/image-20221218195618242.png)]

输入:wq!保存并推出，并使得配置立刻生效：

source /etc/profile

这一步仅是方便在服务器任何路径下都可以执行rocketmq的bin目录下的命令，可跳过。

第四步、创建消息存储路径

RocketMQ消息持久化的位置默认是在/root/store/commitlog，为了方便操作我们自定义消息的存储路径～

# 在第一台服务器执行
mkdir /soft/RocketMQ/store-a
mkdir /soft/RocketMQ/store-a/commitlog
mkdir /soft/RocketMQ/store-a/consumequeue
mkdir /soft/RocketMQ/store-a/index

mkdir /soft/RocketMQ/store-b-s
mkdir /soft/RocketMQ/store-b-s/commitlog
mkdir /soft/RocketMQ/store-b-s/consumequeue
mkdir /soft/RocketMQ/store-b-s/index

# 在第二台服务器执行
mkdir /soft/RocketMQ/store-b
mkdir /soft/RocketMQ/store-b/commitlog
mkdir /soft/RocketMQ/store-b/consumequeue
mkdir /soft/RocketMQ/store-b/index

mkdir /soft/RocketMQ/store-a-s
mkdir /soft/RocketMQ/store-a-s/commitlog
mkdir /soft/RocketMQ/store-a-s/consumequeue
mkdir /soft/RocketMQ/store-a-s/index

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HQKPOKnR-1671717131825)(RocketMQ-RocketMQ集群搭建.assets/image-20221219223509303.png)]

提示：以上操作两台服务器都执行一遍～


2. Broker 配置文件

我们查看一下conf 下的文件，我们本次搭建双主双从的方式故选择 2m-2s-sync
在这里插入图片描述
进入 2m-2s-sync ，在对应的服务器上配置对应的配置文件。如在124.222.223.222服务器上实现Master1、Slave2，修改 broker-a.properties 与broker-b-s.properties即可。
在这里插入图片描述

第一步、配置 Master1

在124.222.223.222服务器上修改broker-a.properties配置文件

vim /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#暴露外网的IP
brokerIP1=124.222.223.222
brokerIP2=124.222.223.222
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/soft/RocketMQ/store-a
#commitLog 存储路径
storePathCommitLog=/soft/RocketMQ/store-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/soft/RocketMQ/store-a/consumequeue
#消息索引存储路径
storePathIndex=/soft/RocketMQ/store-a/index
#checkpoint 文件存储路径
storeCheckpoint=/soft/RocketMQ/store-a/checkpoint
#abort 文件存储路径
abortFile=/soft/RocketMQ/store-a/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

第二步、配置 Slave2

在124.222.223.222服务器上修改broker-b-s.properties配置文件

vim /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#暴露外网的IP
brokerIP1=124.222.223.222
brokerIP2=124.222.223.222
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/soft/RocketMQ/store-b-s
#commitLog 存储路径
storePathCommitLog=/soft/RocketMQ/store-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/soft/RocketMQ/store-b-s/consumequeue
#消息索引存储路径
storePathIndex=/soft/RocketMQ/store-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/soft/RocketMQ/store-b-s/checkpoint
#abort 文件存储路径
abortFile=/soft/RocketMQ/store-b-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

第三步、配置 Master2

在47.96.232.192服务器上修改broker-b.properties配置文件

vim /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#暴露外网的IP
brokerIP1=47.96.232.192
brokerIP2=47.96.232.192
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/soft/RocketMQ/store-b
#commitLog 存储路径
storePathCommitLog=/soft/RocketMQ/store-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/soft/RocketMQ/store-b/consumequeue
#消息索引存储路径
storePathIndex=/soft/RocketMQ/store-b/index
#checkpoint 文件存储路径
storeCheckpoint=/soft/RocketMQ/store-b/checkpoint
#abort 文件存储路径
abortFile=/soft/RocketMQ/store-b/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

第四步、配置 Slave1

在47.96.232.192服务器上修改broker-a-s.properties配置文件

vim /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#暴露外网的IP
brokerIP1=47.96.232.192
brokerIP2=47.96.232.192
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/soft/RocketMQ/store-a-s
#commitLog 存储路径
storePathCommitLog=/soft/RocketMQ/store-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/soft/RocketMQ/store-a-s/consumequeue
#消息索引存储路径
storePathIndex=/soft/RocketMQ/store-a-s/index
#checkpoint 文件存储路径
storeCheckpoint=/soft/RocketMQ/store-a-s/checkpoint
#abort 文件存储路径
abortFile=/soft/RocketMQ/store-a-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3. 服务启动

第一步、启动NameServer集群

分别在 124.222.223.222、47.96.232.192服务器上启动NameServer

创建用来存放nameserver日志的文件

[root@hgwtencent /]# cd /soft/RocketMQ/
[root@hgwtencent RocketMQ]# mkdir -p store/log
[root@hgwtencent RocketMQ]# touch store/log/namesrv.log
[root@hgwtencent RocketMQ]# touch store/log/broker1.log
[root@hgwtencent RocketMQ]# touch store/log/broker2.log

启动 NameServer~

[root@hgwtencent RocketMQ]# cd /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/bin
[root@hgwtencent rocketmq-all-4.9.0-bin-release]# nohup sh mqnamesrv > ../../store/log/namesrv.log 2>&1 &

第二步、启动Broker集群

1、在124.222.223.222上启动master1和slave2

[root@hgwtencent bin]# cd /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/bin/
[root@hgwtencent bin]# nohup sh mqbroker -c /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a.properties > ../../store/log/broker1.log 2>&1 &
[root@hgwtencent bin]# nohup sh mqbroker -c /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b-s.properties  > ../../store/log/broker2.log 2>&1 &

2、在47.96.232.192 上启动master2和slave1

[root@hgwalibabacloud 2m-2s-sync]# cd /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/bin/
[root@hgwalibabacloud bin]# nohup sh mqbroker -c /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b.properties  > ../../store/log/broker1.log 2>&1 &
[root@hgwalibabacloud bin]# nohup sh mqbroker -c /soft/RocketMQ/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a-s.properties  > ../../store/log/broker2.log 2>&1 &

第三步、验收

启动后通过JPS查看启动进程
在这里插入图片描述
查看日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

在这里插入图片描述
关闭命令

mqshutdown broker
mqshutdown namesrv

4. 集群监控平台搭建

这里需要将两台服务器的11009端口开放，rocketmq-Dashboard管理页面默认端口为8080，小伟这因为8080被占用故调整为7777。

第一步、下载并解压

rocketmq-console已经不在原先的仓库了，已经被迁移到RocketMQ Dashboard。进入到这个dashboard仓库：https://github.com/apache/rocketmq-dashboard。下载zip包并解压。
在这里插入图片描述

第二步、修改配置文件

修改rocketmq.config.namesrvAddr=后面为你的NameServer集群地址

在这里插入图片描述

第三步、编译打包并部署

进入 /rocketmq-dashboard-master 目录

cd /Users/gwh/Documents/Software/tools/rocketmq/rocketmq-dashboard-master

执行编辑打包命令：mvn clean package -Dmaven.test.skip=true

mvn clean package -Dmaven.test.skip=true

等待命令执行完成之后在/rocketmq-dashboard-master/target 目录下就可以看到打好的jar包啦！上传到服务器run起来～
在这里插入图片描述

nohup java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar &> store/log.log &

在这里插入图片描述
在这里插入图片描述

HGW689
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rocketmq-dashboard包，已经编译好
04-27
原名rocketmq-console，现在在github上面改名为rocketmq-dashboard； 默认端口是8080，默认的用户密码是：admin/admin123，大家拿到jar包之后请修改配置文件里的密码，BOOT-INF/classes/users.properties； 直接使用...
rocketmq dashboard
06-27
使用rocketmq编译后的jar,无需自己打包直接可用，免费送给大家
RocketMQ Dashboard可视化工具
O(∩_∩)O哈哈~
01-05 2205
RocketMQ可视化工具下载安装
【RocketMQ笔记02】安装RocketMQ可视化工具rocketmq-dashboard
✅ Java 开发工程师，从事 Web 应用程序的研发，擅长 Spring、SpringBoot 等技术。 ✅ 热爱编程，业余时间学习新知识，通过 CSDN 记录学习心得和笔记内容。
12-26 3284
使用IDEA打开刚刚解压得到的dashboard工程，因为rocketmq-dashboard是需要连接RocketMQ消息队列服务的，所以在它的配置文件中，需要指定RocketMQ消息队列的服务地址，修改application.properties配置文件中的rocketmq.config.namesrvAddr属性。打包成功之后，就可以在target目录下面找到生成的jar包，这个jar就是可执行的rocketmq-dashboard程序。
【RocketMQ】rocketmq-dashboard 部署
最新发布
一个写了10年bug的程序员日常笔记。
05-30 1892
打开rocketmq-externals项目没有找到rocketmq-console。莫不是删除了吗继续看文档译文：RocketMQ仪表板注意：控制台已更名为仪表板，并转移了新的回购，它将在不久的将来毕业，欢迎您填写用户尽职调查。
在Windows 11环境部署RocketMQ和RocketMQ Dashboard
u011023306的博客
04-12 1824
在Windows 11环境部署RocketMQ和RocketMQ Dashboard
RocketMQ Dashboard 详解
深圳市多克创新科技有限公司
01-17 1595
RocketMQ Dashboard 详解
RocketMQ 一站式安装指南
潇歌的博客
09-02 2493
由于笔者在安装 Rocket 过程中，遇到很多棘手的问题，在上面耗了很多时间，为了避免大家踩坑也为了做个记录，所以写这篇文章记录以下。
React-Dashboard-UI:React Dashborad用户界面
05-09
React仪表板用户界面Netlify： ://react-dashboard-ui.netlify.app桌面检视移动响应式Create React App入门该项目是通过引导的。可用脚本在项目目录中，可以运行： yarn start 在开发模式下运行该应用程序。...
基于Vue3 + Element Plus 的后台管理系统
07-22
基于Vue3 + Element Plus 的后台管理系统解决方案 该方案作为一套多功能的后台框架模板，适用于绝大部分的后台管理系统（Web Management System）开发。基于 Vue3 + pinia，引用 Element Plus 组件库，方便开发快速...
GleSYS-CLI-Dashboard:显示glesys服务器的CLI仪表板
05-10
GleSYS CLI仪表板显示GleSYS服务器的CLI仪表板正在安装npm install -g glesys-cli-dashboardglesys-cli-dashboard要求为了使远程日志功能起作用，每个服务器必须满足以下要求： 每个服务器上必须存在具有相同名称和...
rocketmq-dashboard.zip
12-10
rocketmq-dashboard.zip
RocketMQ快速入门：namesrv、broker、dashboard的作用及消息发送、消费流程（三）
55555的博客
04-23 1432
接触rocketmq之后，大家首当其冲的就会发现需要安装3个组件：namesrv, broker, dashboard，其中dashboard也叫console，为选装。而这几个组件之前的关系是什么呢，消息发送和接收的过程是如何传递的呢，这是我们要详细了解的。
RocketMQ教程-(6-4)-运维部署-RocketMQ Dashboard
-
08-25 537
​。
RocketMQ双主双从集群搭建
YHJ
05-23 1920
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
【源码编译并安装RocketMQ Dashboard】
若兰幽竹
08-09 638
本文仅作为学习过程的笔记，因官网有些步骤省略或者没有写全，为了方便后续查看，也为那些初学者提供一点参考和帮助。如本文对您有所帮助，目录，在该目录下会看到编译完成后的。正常编译完成后，会生成。
新版RocketMQ可视化管理页面搭建（rocketmq-dashboard）
laizhenghua的博客
05-03 6282
现如今在GitHub apache/rocketmq-externals 项目下已经找不到 rocketmq-console模块了，官方已经从 apache/rocketmq-externals 独立出来并更名为 rocketmq-dashboard。
rocketmq集群搭建笔记
西城风雨楼
09-15 769
本次搭建的是双Master+双Slave集群模式笔记最后记录了本次安装出现的一些问题，以及解决方法。
RocketMQ的下载及安装以及历史和发展
持续学习，持续更新
05-06 1650
2015年，阿里基于RocketMQ开发了阿里云上的Aliware MQ，Aliware MQ(Message Queue)是RocketMQ的商业版本，是阿里云商用的专业消息中间件，是企业级互联网架构的核心产品，基于高可用分布式集群技术，搭建了包括发布订阅、消息轨迹、资源统计、定时（延时）、监控报警等一套完整的消息云服务。目前来说还只是一个预览版，不过RocketMQ5的改动非常大，同时也明确了版本定位，RocketMQ 5.0定义为云原生的消息、事件、流的超融合平台。成功后会弹出提示框，此框勿关闭。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值