大数据生态的Apache RocketMQ5.0

本文作者：李伟 - Apache RocketMQ Committer，RocketMQ Python客户端项目Owner ，Apache Doris Contributor，腾讯云消息队列资深开发工程师，著有《RocketMQ分布式消息中间件(核心原理与最佳实践)》。

一、RocketMqueue101

RocketMQ拥有诸多出色的特性：

比如多副本机制，RocketMQ支持存储层的多副本Dledger，它是基于 Raft 协议的一致性存储库，保证能够从存储层实现多副本；

比如ACL 鉴权机制，用于确定哪些 producer 能生产、哪些消费者组能消费，以及服务端的消息过滤；

比如事务消息，它是 RocketMQ 实现的生产者事务，生产者向 broker 发送一条事务消息，由生产者执行本地事务。如果执行成功，则向 broker 端发送 commit 事件，消费者才能消费；如果本地事务处理失败，则发送rollback事件，使消费者无法消费该消息。

比如Request-Reply ，它是类似于同步 RPC 调用的过程，用户相同的逻辑用消息来实现，能够实现同步 RPC 调用的过程，可以将调用API和发送消息两套逻辑进行统一。

广播消息指消息发出后，订阅它的所有消费者都能消费到所有实例。负载均衡消费指默认策略下，同一个消费者组的消费者都能平均地消费消息，具体策略可自行调整。RocketMQ支持Pull、Push和Pop三种消费模式，支持java、go、cpp、python、c#等多种语言。

搭建RocketMQ集群的流程如下：

第一步：安装NameServer集群。NameServer集群包含一个或多个NameServer节点。启动服务时，默认监听 9876 端口。NameServer集群搭建好之后，启动一套Broker集群。

第二步：搭建Broker集群，使用经典master-slave部署模式， master 提供读写，同时会将数据存储和元数据同步一份到 slave 。通过 10912 的 HA 端口做数据同步。

第三步：写生产者代码生产。生产者集群包含多个生产者实例，通过 broker 的 10911 和 10909 端口向 broker 发送数据。

第四步：消费者通过 10911 或10909端口向 broker 拉取数据。

生产者或消费者实例启动时，会先配置NameServer地址，由生产者或消费者从NameServer集群上拉取topic、Queue和Broker等路由信息，然后根据路由信息发送或拉取消息。

生产者和消费者均与broker之间存在 channel 连接。如果生产者或消费者长时间没有与 broker 联系，则 broker 会将连接剔除。

以下为RocketMQ101相关名词解析：

生产者包含生产者组和生产者实例。生产者组是若干个生产者实例的组合，且RocketMQ希望同一个生产者组内的实例行为一致。消费者组和消费者实例也同理。行为一致指生产者实例都生产同一种类型的消息，比如都生产订单消息