RocketMQ是阿里巴巴开源的一款高性能、高吞吐量、低延迟、高可用的分布式消息队列,通过对RocketMQ源码的学习可以知道一个出色的消息队列如何设计、如何运行。
nameServer
NameServer 是专为 RocketMQ 设计的轻量级元数据管理模块,相当与Kafka中的zookeeper,管理集群中的Broker和元数据,整个Rocketmq集群的工作原理如下图所示:
可以看到,RocketMQ架构上主要分为四部分, Broker、Producer、Consumer、NameServer,其他三个都会与NameServer进行通信,NameServer的作用如下:
- Broker管理:NameServer接受Broker的注册请求,处理请求数据作为路由信息的基础数据。对broker进行心跳检测机制,检测是否还存活(120s);
- topic路由信息管理:每个NameServer都保存整个Broker集群的路由信息,用于Producer和Conumser查询的路由信息,从而进行消息的投递和消费。
producer
消息发布的角色,可集群部署。通过NameServer集群获得Topic的路由信息,包括Topic下面有哪些Queue,这些Queue分布在哪些Broker上等。(Producer只会将消息发送到Master节点,因此只需与Master节点建立连接)。
consumer
消息消费的角色,可集群部署。通过NameServer集群获得Topic的路由信息,连接到对应的Broker上拉取和消费消息。(Master和Slave都可以拉取消息,因此Consumer会与Master和Slave都建立连接)。
broker
主要负责消息的存储、投递和查询以及服务高可用保证。
remoting
远程通信和协议相关的代码,基于netty(rocketmq的通信部分就是由netty去实现的)。
store
持久化,高可用HA相关的一些代码
filter
消息过滤的相关代码
acl
权限相关的代码