kafka原理分析—broker总体架构和启动流程

概述

本文分析了kafka的broker的实现架构，通过本文的分析，我们可以对broker的实现架构的各个部分有一个总体的了解。

实现broker的总体架构图

下图是broker内部的总体架构图(该图来自于kafka官方的设计文档):

从图中可以看出，kafka系统是由若干子系统构成。根据核心的功能模块，可以大体划分成以下几个子系统：

• 客户端连接请求处理服务
• 客户端指令处理服务
• 日志管理子系统
• 日志复制子系统
• API消息处理子系统
• broker管理子系统

各个子系统通过消息传递进行通信，形成一个整体。

从实现层次上来看，可以分为几层：

• 网络层：主要用来接收客户端请求，接收并解析客户端的命令，维护和客户端的连接等。
• API层：根据客户端的命令进行相应的操作。
• 日志子系统：负责管理数据和数据分区。
• 日志复制子系统：负责对数据的副本进行管理。
• Controller子系统：负责完成controller的操作。

broker启动和初始化

broker启动时子系统初始化如下图：

总结

本文分析了kafka 的broker后台的设计架构，并分析了broker的启动和初始化过程。

参考资料

• Kafka Internals