RocketMQ 的基本概念

RocketMQ 的基本概念

消息模型（Message Model）

RocketMQ主要是由Producer、Broker、Consumer三部分组成。其中Producer负责生产消息，Consumer负责消耗消息，Broker负责存储消息。Broker在实际部署中对应这一台服务器，每个Broker可以存储多个Topic消息，每个Topic也可以分片存储在不同的Broker中。Message Queue 用于存储消息的物理地址，每个Topic中的消息地址存储于多个Message Queue 中。

RocketMQ架构图，其主要构建由：生产者（Producer）、消费者（Consumer）、名字服务（Name Server）、代理服务（Broker）节点构成。

• NameServer：主要是用来监听端口，等待Broker、Producer、Consumer连接上来
• Broker：其主要跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
• Producer：其主要是跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
• Consumer：跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
  

生产者（Producer）

负责生产消息，其会把生产的消息发送到Broker服务器，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。RocketMQ提供了多种发送方式：同步发送、异步发送、顺序发送、单向发送。Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic 服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，消费者在向Master拉取消息时，Master服务器会根据拉取偏移量与最大偏移量的距离（判断是否读老消息，产生读I/O），以及从服务器是否可读等因素建议下一次是从Master还是Slave拉取。

消费者(Consumer)

负责消费消息，一般是后台系统负责异步消费。消息消费者从Broker服务器中拉去消息、并将其提供给应用程序。从用户的角度来看提供了两种消费模式：拉取式消费（Pull Consumer 应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息，应用就会启动消费过程。）、推动式消费（Push Consumer 该模式下Broker收到数据后会主动推送给消费端，该消费模式一般实时性较高）同时时也支持集群方式和广播方式的消费，它提供实时消息订阅机制。

名字列表（Name Server）

NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。主要包括两个功能：Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer 、Consumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。NameServer通常也是集群的方式部署，各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer和Consumer仍然可以动态感知Broker的路由的信息。

代理服务器(Broker Server)

消息中转角色，负责存储消息，转发消息。代理服务器在RocketMQ中负责接受生产者发送的消息并存储，同时为消费者拉去请求做准备。代理服务器也存储消息相关的元数据，包括消费者组、消息进度偏移、主题和消息队列等。Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId 来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。 注意：当前RocketMQ版本在部署架构上支持一Master多Slave，但只有BrokerId=1的从服务器才会参与消息的读负载。

消息(Message)

消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key。系统提供了通过Message ID和Key查询消息的功能。

主题（Topic）

表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

生产者组（Producer Group）

同一类Producer的集合，这类Producer发送同一类消息且发送逻辑一致。如果发送的是事务消息且原始生产者在发送之后崩溃，则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。

消费者组（Consumer Producer）

同一类Consumer的集合，这类Consumer通常消费同一类消息且消费逻辑一致。消费者组使得在消息消费方面，实现负载均衡和容错的目标变得非常容易。要注意的是，消费者组的消费者实例必须订阅完全相同的Topic。RocketMQ 支持两种消息模式：集群消费（Clustering,相同Consumer Group的每个Consumer实例平均分摊消息。）和广播消费（Broadcasting,相同Consumer Group的每个Consumer实例都接收全量的消息）。