Kafka整体结构以及模块分析

一、Kafka源代码的工程结构

如下图所示：

 

 

二、各模板简要说明

admin：管理员模块，操作和管理topic，paritions相关，包含create,delete topic,扩展patitions

Api：该模块主要负责交互数据的组装，客户端与服务端交互数据编解码

client：该模块比较简单就一个类，Producer读取kafka broker元数据信息topic和partitions，以及leader

cluster：该模块包含几个实体类，Broker,Cluster,Partition,Replica,解释他们之间关系：	
	  Cluster由多个broker组成，一个Broker包含多个partition，一个topic的所有
	  partitions分布在不同broker的中，一个Replica包含多个Partition。

common：通用模块,只包含异常类和错误验证

consumer：consumer处理模块，负责所有客户端消费者数据和逻辑处理

contoroller：负责中央控制器选举，partition的leader选举，副本分配，副本重新分配，partition和replica扩容。

javaapi：提供java的producer和consumer接口api

log：Kafka文件存储模块，负责读写所有kafka的topic消息数据。

message：封装多个消息组成一个“消息集”或压缩消息集。

metrics：内部状态的监控模块

network：网络事件处理模块，负责处理和接收客户端连接

producer：producer实现模块，包括同步和异步发送消息。

serializer：序列化或反序列化当前消息

kafka：kafka门面入口类，副本管理，topic配置管理，leader选举实现(由contoroller模块调用)。

tools：一看这就是工具模块，包含内容比较多：
			a.导出对应consumer的offset值.
			b.导出LogSegments信息，当前topic的log写的位置信息.
			c.导出zk上所有consumer的offset值.
			d.修改注册在zk的consumer的offset值.
			f.producer和consumer的使用例子.

utils：Json工具类，Zkutils工具类，Utils创建线程工具类，KafkaScheduler公共调度器类，公共日志类等等。

 

 

 

 

 

• 
• 大小: 34.1 KB

• 查看图片附件