RocketMQ学习教程：04.集群搭建【云图智联】

本文首先会对rocketmq集群四种部署模式进行介绍，包括：单主模式，多master模式，多master多slave模式异步复制，多master多slave模式同步复制，对比各种模式的优缺点。接着将每一种模式部署成一个集群，因此总共有4个集群，由一个NameServer集群进行管理。最后会介绍常见部署错误问题的解决方案。

1 部署模式介绍

一个完整的RocketMQ集群由NameServer集群，Broker集群，Producer集群，Consumer集群组成。本节主要介绍NameServer集群，Broker集群的搭建。

一个NameServer集群可以管理多个Broker集群，每个Broker集群由多组broker复制组构成，多个broker复制组通过指定相同的集群名称，来构成一个Broker集群。

具体来说，每个broker复制组都满足以下几点：

• 包含一个master节点，零个或者多个slave节点，且这些节点需要指定相同的broker名称；不同的broker复制组的broker名称必须不同。

• master和slave通过brokerId参数进行区分。master的 brokerId参数必须是 0，slave 的 brokerId 必须是大于0的整数，如果有多个slave，这些slave的brokerId需要指定为不同的值。

• master可读可写，slave只可以读，master通过主从复制的方式将数据同步给slave，支持同步复制和异步复制两种复制方式，目前master宕机后，slave不能自动切换为master。

基于Broker复制组的特性，一个Broker集群通常有多种部署方式：

1. 单个 Master 

        集群中只有一个broker复制组，且只包含一个master节点。这种方式部署风险较大，一旦 Broker 重启或者宕机时，会导致整个服务不可用，通常是开发调试时使用，不建议线上环境使用 

2. 多 Master 模式 

        集群中有多个broker复制组，且都只有master节点，没有slave节点。例如 2 个 master 或者 3 个 master节点。

        优点: 配置简单，单个 Master 宕机或重启维护对应用无影响，消息也不会丢(异步刷盘丢失少量消息，同步刷盘一条不丢)。性能最高。 

        缺点: 单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。 

3 多 Master 多 Slave 模式，异步复制 

        集群中有多个broker复制组，且每个复制组都有master节点，也有slave节点。例如：每个 master 配置一个 slave。HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。 

        优点: 即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以 从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。 

        缺点:Master 宕机，磁盘损坏情况，会丢失少量消息。

4. 多 Master 多 Slave 模式，同步复制 

        与第三种方式类似，不同的是，HA 采用同步复制，生产者发送发送消息时，只有再主备都写成功，才向应用返回成功。 

        优点: 数据与服务都无单点，Master 宕机情况下，消息无延迟，服务可用性与数据可用性都非常高     

        缺点: 性能比异步复制模式略低，大约低 10%左右，发送单个消息的 RT 会略高。

接下来，笔者将将演示在Linux操作系统中如何搭建一个单节点NameServer集群，以及上述四种Broker集群，并由这个单节点的NameServer集群来管理这四个Broker集群。

注意：在实际生产环境中，NameServer以及每个Broker节点(不管是master还是slave)，都是部署在不同的机器上的。这里简单起见，将通过伪分布式的方式进行搭建，即所有节点都运行在一台机器上。如果读者希望搭建完整的分布式集群，可以使用vmvare/virtualbox等工具，只需要将本文的配置拷贝即可。

 

2 前提条件

wRocketMQ NameServer和Broker是基于Java 开发的，需要安装JDK，且需要保证二者版本的匹配。下图列出安装/运行RocketMQ需要的JDK版本。

Version	Client	Broker	NameServer
4.0.0-incubating	>=1.7	>=1.8	>=1.8
4.1.0-incubating	>=1.6	>=1.8	>=1.8
4.2.0	>=1.6	>=1.8	>=1.8
4.3.x	>=1.6	>=1.8	>=1.8
4.4.x	>=1.6	>=1.8	>=1.8
4.5.x	>=1.6	>=1.8	>=1.8
4.6.x	>=1.6	>=1.8	>=1.8

本文以RocketMQ 4.6.0版本为例进行讲解，对应JDK版本为1.8。本文不讲解JDK如何安装，读者可自行查阅相关资料。确保JDK的版本>=1.8，可以通过如下方式验证：

1. $ java -version
2. java version "1.8.0_131"
3. Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
4. Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode

 

3 下载安装

下载

该地址列出了RocketMQ所有发布的版本：https://github.com/apache/rocketmq/