Kafka面试题（总结26面试题）

1.kafka是什么？

kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由Linkedin公司开发，使用Scala语言编写，目前是Apache的开源项目。

1.broker：kafka服务器，负责消息存储和转发

2.topic：消息类别，kafka按照topic来分类消息

3.partition：topic的分区，一个topic可以包含多个partition，topic消息保存在各个partition上

4.offset：消息在日志中的位置，可以理解是消息在partition上偏印量，也是代表该消息的唯一序号

5.producer：消息生产者

6.consumer：消息消费者

7.consumer group：消息者分组，每个consumer必须属于一个group

8.zookeeper：保存着集群broker、topic、partition等meta数据；另外，还负责broker故障发生，partition leader选举，负载均衡等功能

2.partition的数据文件（offset，messagesize，data）

partition中的每条Message包含了以下三个属性：offset，messagesize，data，其中offset表示message在这个partition中的偏印量，offset不是该message在partition数据文件中的实际存储位置，而是逻辑上一个值，它唯一确定了partition中的一条message，可以认为offset是partition中message的id；messagesize表示消息内容data的大小；data为message的具体内容

3.数据文件分段segment（顺序读写、分段命令、二分查找）

kafka为每个分段后的数据文件建立了索引文件，文件名与数据文件的名字是一样的，只是文件扩展为.index。index文件中并没有数据文件中的每条message建立索引，而是采用了稀疏存储的方式，每隔一定字节得数据建立一条索引。这样避免了索引文件占用过多的空间，从而可以将索引文件保留在内存中

 

4.负载均衡（partition会均衡分布到不同broker上）

由于消息topic由多个partition组成，且partition会均衡发布到不同broker上，因此，为了有效利用broker集群的性能，提高消息的吞吐量，producer可以通过随机或者hash等方式，将消息平均发送到多个partition上，以实现负载均衡

 

5.批量发送

是提高消息吞吐量重要的方式，producer端可以在内存中合并多条消息后，以一次请求的方式发送了批量的消息给broker，从而大大减少broker存储消息的IO操作次数。但也一定程度上影响了消息的实时性，相当于以时延代价，换取更好的吞吐量

6.压缩（GZIP或Snappy）

producer端可以通过CZIP或Snappy格式对消息集合进行压缩。producer端进行压缩之后，在consumer端需要进行解压。压缩的好处就是减少传输的数据量，减轻对网络传输的压力࿰