RocketMq3 架构及名词解释

1、网络架构

RocketMQ 消息中间件是一个分布式的能力强劲的消息中间件。使用 namesvr 来作为broker 服务的发现与注册，broker 是存储消息的服务节点。Producer 向 broker 发送息，consumer 从 broekr 接受消息，broker 采用主从结构来进行消息的存储。

2、何为 nameserver？

2.1、基本概念

相对来说，nameserver 的稳定性非常高。原因有二：

• 1 ）nameserver 互相独立，彼此没有通信关系，单台 nameserver 挂掉，不影响其他nameserver，即使全部挂掉，也不影响业务系统使用。无状态
• 2 ）nameserver 不会有频繁的读写，所以性能开销非常小，稳定性很高。
• 总结：NameServer 是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步

2.2、Namesrv 存在意义

服务发现机制：

• 当发出请求服务时,客户端通过注册中心服务知道所有的服务实例。客户端接着使用负载均衡算法选择可用的服务实例中的一个并进行发送

3、何为 broker？

3.1基本概念

Broker 就是用来存储消息的服务。Broker 通常都是以集群的方式存在，消息发送者把消息发送给 broker 进行存储。

3.2 与 nameserver 关系

• 连接，单个 broker 和所有 nameserver 保持长连接
• 心跳
  • a. 心跳间隔：每隔 30 秒（此时间无法更改）向所有 nameserver 发送心跳，心跳包含了自身的 topic 配置信息。
  • b. 跳超时：nameserver 每隔 10 秒钟（此时间无法更改），扫描所有还存活的broker 连接，若某个连接 2 分钟内（当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则断开连接。
• 断开
  • a. 时机：broker 挂掉；心跳超时导致 nameserver 主动关闭连接
  • b. 动作：一旦连接断开，nameserver 会立即感知，更新 topc 与队列的对应关系，但不会通知生产者和消费者

3.3 负载均衡

• 一个 topic 分布在多个 broker 上，一个 broker 可以配置多个 topic，它们是多对多的关系。
• 如果某个 topic 消息量很大，应该给它多配置几个队列，并且尽量多分布在不同broker 上，减轻某个 broker 的压力。
• topic 消息量都比较均匀的情况下，如果某个 broker 上的队列越多，则该 broker 压力越大。

3.4 可用性

• 由于消息分布在各个 broker 上，一旦某个 broker 宕机，则该 broker 上的消息读写都会受到影响。所以rocketmq 提供了 master/slave 的结构，salve 定时从 master 同步数据，如果 master 宕机，则 slave 提供消费服务，但是不能写入消息，此过程对应用透明，由 rocketmq 内部解决。
• 这里有两个关键点：

  • 一旦某个 broker master 宕机，生产者和消费者多久才能发现？受限于 rocketmq 的网络连接机制，默认情况下，最多需要 30 秒，但这个时间可由应用设定参数来缩短时间。这个时间段内，发往该 broker 的消息都是失败的，而且该 broker 的消息无法消费，因为此时消费者不知道该 broker 已经挂掉。

  • 消费者得到 master 宕机通知后，转向 slave 消费（重定向，对于 2 次开发者透明），但是 slave 不能保证 master 的消息 100%都同步过来了，因此会有少量的消息丢失。但是消息最终不会丢的，一旦 master 恢复，未同步过去的消息会被消费掉

3.5 可靠性

• 所有发往 broker 的消息，有同步刷盘和异步刷盘机制，总的来说，可靠性非常高
• 同步刷盘时，消息写入物理文件才会返回成功，因此非常可靠
• 异步刷盘时，只有机器宕机，才会产生消息丢失，broker 挂掉可能会发生，但是机器宕机崩溃是很少发生的，除非突然断电

3.6 消息清理

• 扫描间隔，默认 10 秒，由 broker 配置参数 cleanResourceInterval 决定
• 空间阈值，物理文件不能无限制的一直存储在磁盘，当磁盘空间达到阈值时，不再接受消息，broker 打印出日志，消息发送失败，阈值为固定值 85%
• 清理时机，默认每天凌晨 4 点，由 broker 配置参数 deleteWhen 决定；或者磁盘空间达到阈值
• 文件保留时长，默认 72 小时，由 broker 配置参数 fileReservedTime 决定

总结：

• Broker 部署相对复杂，Broker 分为 Master 与 Slave，一个 Master 可以对应多个 Slave，但是一个 Slave 只能对应一个 Master，Master 与 Slave 的对应关系通过指定相同的BrokerName，不同的 BrokerId 来定义，BrokerId 为 0 表示 Master，非 0 表示 Slave。
• Master 也可以部署多个。每个 Broker 与 Name Server 集群中的所有节点建立长连接，定时注册 Topic 信息到所有 Name Server。

4、消费者

4.1 与 nameserver 关系

• 连接、单个消费者和一台 nameserver 保持长连接，定时查询 topic 配置信息，如果该nameserver 挂掉，消费者会自动连接下一个 nameserver，直到有可用连接为止，并自动重连。
• 心跳，与 nameserver 没有心跳
• 轮询时间，默认情况下，消费者每隔 30 秒从 nameserver 获取所有 topic 的最新队列情况，这意味着某个 broker 如果宕机，客户端最多要 30 秒才能感知。该时间由DefaultMQPushConsumer 的 pollNameServerInteval 参数决定，可手动配置。

4.2与 broker 关系

• 连接，单个消费者和该消费者关联的所有 broker 保持长连接。
• 心跳，默认情况下，消费者每隔 30 秒向所有 broker 发送心跳，该时间由DefaultMQPushConsumer 的 heartbeatBrokerInterval 参数决定，可手动配置。broker 每隔 10秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接 2 分钟内（当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则关闭连接，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费
• 断开
  1）时机：消费者挂掉；心跳超时导致 broker 主动关闭连接
  2）动作：一旦连接断开，broker 会立即感知到，并向该消费者分组的所有消费者发出通知，分组内消费者重新分配队列继续消费

4.3 负载均衡

集群消费模式下，一个消费者集群多台机器共同消费一个 topic 的多个队列，一个队列只会被一个消费者消费。如果某个消费者挂掉，分组内其它消费者会接替挂掉的消费者继续消费

4.4消费机制

• 本地队列，消费者不间断的从 broker 拉取消息，消息拉取到本地队列，然后本地消费线程消费本地消息队列，只是一个异步过程，拉取线程不会等待本地消费线程，这种模式实时性非常高（本地消息队列达到解耦的效果，响应时间减少）。对消费者对本地队列有一个保护，因此本地消息队列不能无限大，否则可能会占用大量内存，本地队列大小由DefaultMQPushConsumer 的 pullThresholdForQueue 属性控制，默认 1000，可手动设置。
• 轮询间隔，消息拉取线程每隔多久拉取一次？间隔时间由 DefaultMQPushConsumer 的pullInterval 属性控制，默认为 0，可手动设置。
• 消息消费数量，监听器每次接受本地队列的消息是多少条？这个参数由DefaultMQPushConsumer 的 consumeMessageBatchMaxSize 属性控制，默认为 1，可手动设置

总结：

• Consumer 与 Name Server 集群中的其中一个节点（随机选择，但不同于上一次）建立长连接，定期从 Name Server 取 Topic 路由信息，并向提供 Topic 服务的 Master、Slave 建立长连接，且定时向 Master、Slave 发送心跳

5、生产者

5.1 与 nameserver 关系

• 连接，单个生产者者和一台 nameserver 保持长连接，定时查询 topic 配置信息，如果该 nameserver 挂掉，生产者会自动连接下一个 nameserver，直到有可用连接为止，并能自动重连。
• 轮询时间，默认情况下，生产者每隔 30 秒从 nameserver 获取所有 topic 的最新队列情况，这意味着某个 broker 如果宕机，生产者最多要 30 秒才能感知，在此期间，发往该broker 的消息发送失败。该时间由DefaultMQProducer 的 pollNameServerInteval 参数决定，可手动配置。
• 心跳，与 nameserver 没有心跳

5.2 与 broker 关系

• 连接，单个生产者和该生产者关联的所有 broker 保持长连接。
• 心跳，默认情况下，生产者每隔 30 秒向所有 broker 发送心跳，该时间由DefaultMQProducer 的 heartbeatBrokerInterval 参数决定，可手动配置。broker 每隔 10 秒钟（此时间无法更改），扫描所有还存活的连接，若某个连接 2 分钟内（当前时间与最后更新时间差值超过 2 分钟，此时间无法更改）没有发送心跳数据，则关闭连接。
• 连接断开，移除 broker 上的生产者信息

5.3负载均衡

• 生产者时间没有关系，每个生产者向队列轮流发送消息

总结：

• Producer 与 Name Server 集群中的其中一个节点（随机选择，但不同于上一次）建立长连接，定期从 Name Server 取 Topic 路由信息，并向提供 Topic 服务的 Master 建立长连接，且定时向 Master 发送心跳

6、何为 Topic

Topic 是消息中间件里一个重要的概念，每一个 Topic 代表了一类消息，有了多个 Topic，就可以对消息进行归类与隔离。

7、何为分区（queue）

RocketMQ 是磁盘消息队列的模式，对于同一个消费组，一个分区只支持一个消费线程来消费消息。过少的分区，会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中，一个 Topic 会设置成多分区的模式，来支持多个消费者