RocketMQ的架构及其工作流程详解

RocketMQ的架构及解析

Producer

1、消息发布的角色，支持分布式集群方式部署。
2、Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。

Consumer

1、消息消费的角色，支持分布式集群方式部署。
2、支持以push推，pull拉两种模式对消息进行消费。
3、同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求。

NameServer

1、NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步，表示NameServer集群中每个NameServer之间相互独立，互不影响。
2、NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。

主要包括两个功能：

• Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；
• 路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Consumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。

BrokerServer

Broker主要负责消息的存储、投递和查询以及服务高可用保证，为了实现这些功能，Broker包含了以下几个重要子模块。

• Remoting Module：整个Broker的实体，负责处理来自Client端的请求。
• Client Manager：负责管理客户端(Producer/Consumer)和维护Consumer的Topic订阅信息。
• Store Service：提供方便简单的API接口处理消息存储到物理硬盘和查询功能。
• HA Service：高可用服务，提供Master Broker 和 Slave Broker之间的数据同步功能。
• Index Service：根据特定的Message key对投递到Broker的消息进行索引服务，以提供消息的快速查询。

RocketMQ的部署架构

RocketMQ的工作流程

• 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
• Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
• 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
• Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
• Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

扩展

push推消费

优点：来一个新消息后就进行消费，时效性好
缺点：broker和consumer之间必须维护一个长链接，一旦连接断开，broker就无法通知consumer进行消费

pull拉消费

优点：不必建立长链接，且consumer可以隔一段时间就进行拉取
缺点：时间间隔很长的话，consumer拉取的都是旧消息，时效性差

broker的注册机制

Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer和Consumer仍然可以动态感知Broker的路由的信息。

NameServer的心跳检测机制

NameServer和Broker保持长连接，每隔30s检测Broker是否存活，如果Broker宕机，不会立马宣布该broker“死亡”，而是从路由注册表中删除。如果经过120s后还是无法检测到存活“心跳”，就会彻底宣布该broker已“死”。
这样实现降低了NameServer实现复杂度，Producer会通过容错机制来保证消息发送高可用。

附：参考链接

1、rocketmq官网
2、RocketMQ NameServer深入剖析
3、NameServer、Zookeeper，傻傻分不清楚
4、RocketMQ的核心概念以及架构图