RocketMQ 简介 -- Broker

RocketMQ Broker

概述

• Broker即是物理上的概念，也是逻辑上的概念。多个物理Broker通过IP:PORT区分，多个逻辑Broker通过BrokerName区分。
• 多个逻辑Broker组成Cluster。
• Broker与Topic是多对多的关系。
• Broker自身包含一个使用10911端口的NettyServer、一个10909的NettyServer，以及一个NettyClient。
• HA通过10912端口提供服务，用于Broker内部各个部分的数据传输。
• Broker是最重要的部分，包括持久化消息、Broker集群一致性(HA)、保存历史消息、保存Consumer消费偏移量、索引创建等。
• Producer发送来的消息最终会通过CommitLog序列化到硬盘，执行序列化逻辑的类为AppendMessageCallback接口的实现类。
• Broker序列化消息是顺序写，序列化文件保存在userHome/store/commitlog目录下，文件名为总偏移量。
• 默认为异步刷盘、提交日志单个文件1个G、单个consumer队列文件为不到6M

处理Producer消息

Broker通过SendMessageProcessor.processRequest()处理Producer生成的消息，处理过程如下：

1. 反序列化消息头为SendMessageRequestHeader对象实例。
2. 构建消息上下文
3. 执行前置钩子程序
4. 处理message
   
   • 判断当前系统时间是否在Broker配置的服务时间之后，只有条件成立broker才提供服务。
   • 判断当前Broker是否允许写入
   • 判断Topic是否为默认Topic
   • 检查Topic是否存在于此Broker，不存在则尝试创建Topic
   • 检查消息头中的queueId是否大于等于Topic允许的最大对列数。
   • 处理retry和死信消息(如果消息的Topic为重试Topic，且重试次数大于最大重试次数则将消息放入死信Topic中)
   • 根据Broker的配置和消息的TRAN_MSG属性判断是否处理事务消息
   • 将消息转化后的MessageExtBrokerInner对象序列化通过MessageStore序列化到硬盘(从Broker不允许序列化、不允许写的Broker不允许序列化、Topic长度不能大于127、Mssage属性的长度不能大于32767、页缓存不能在忙的状态–根据时间判断)
   • 通过CommitLog将消息序列化到硬盘
     
     • 获取最新的MappedFile(因为是顺序写)后加锁
     • 获取MappedFile当前的写入位置
     • 从内存池(TransientStorePool)中获取内存，并将当前写入位置赋值到内存ByteBuffer中
     • 获取总偏移量(由于CommitLog下文件名是本文件起始位置在Broker提供服务后的偏移量位置，所以当前MappedFile的起始偏移量+文件写入偏移量为总偏移量)
     • 按照预定义格式将消息序列化到ByteBuffer中，具体序列化格式参见CommitLog.calMsgLength中的注释
     • 调用刷盘、HA逻辑，根据当前Broker的状态进行实际处理。
     • 将新的偏移量设置到MappedFile
     • 以上过程对TransactionMessage特殊处理，符合TRANSACTION_PREPARED_TYPE和TRANSACTION_ROLLBACK_TYPE类型的事务消息对Consumer不可见的逻辑，queueOffset为0。
5. 执行后置钩子程序

处理Consumer消息

Broker通过PullMessageProcessor.processRequest()处理Consumer生成的消息，处理过程如下：

1. 判断当前Broker是否允许读
2. 根据消息头的ConsumerGroupName获取本地存储的Consumer订阅信息
3. 从ConsumeQueue中的MappedFileQueue根据偏移量获得MappedQueue获取消息
4. 从MappedQueue中根据偏移量获取消息返回

内部服务

Broker内部有各种服务用于实现特定的功能，简介如下：

• IndexService，用于构建消息序列化文件的索引信息。将索引信息序列化到userName/store/index/当前时间文件中。
• AllocateMappedFileService，用于分配SubmitLog序列化使用的MappedFile。
• FlushConsumeQueueService，定时刷新ConsumeQueue到硬盘。
• TransientStorePool，类似于内存池，供各个MappedFile在序列化时借用内存处理。
• ScheduleMessageService，用于处理定时消息。
• ReputMessageService，重新分布消息同时会触发重新索引
• HAService，主、从Broker之间进行数据同步，只传输CommitLog序列化的消息。
• CleanCommitLogService，默认删除72小时之前过期的CommitLog序列化的消息。
• CleanConsumeQueueService，根据偏移量删除过期的ConsumeQueue，偏移量的值由最老的序列化消息文件决定。
• PullRequestHoldService，用于执行之前为未到数据且请求偏移量为0的PullRequest操作(即新注册的Consumer)，对于未找到数据的Pull操作不会返回给Consumer，而是待PullRequestHoldService本地代理请求。
• ClientHousekeepingService，扫描Producer、Consumer、FilterServer中超过120s未活动的NettyChannel，将不活动的Channel删除。
• FilterServerManager，此服务用于根据需要创建一到多个Java进程：FilterServer，FilterServer用于本地代理Consumer，过滤Broker的Message后给Consumer。