kafka面试题15道

 1、kafka消息发送的流程？

      kafka消息的发送主要涉及两个线程分别是main线程和sender线程。

       在main线程中，会由KafkaProducer创建消息，通过可能存在的拦截器、 序列化器、和分区器的作用后，缓存到消息累加器（RecrdAccumlator）中，在消息累加器中，每一个分区对应一个双端队列，当每个分区的消息会放入对应的双端队列，当batch.size到达16k或到达linger.ms设置的时间后，会由sender线程读取。

       Sender线程在从消息累加器中读取到消息后，会创建发送的请求，kafka集群的每一个broker都会有一个InFlightRequests队列存在于NetWorkClient中，一般情况下，每个InFlightRequests队列缓存5个请求，这些请求通过selector发送到kafka集群，当集群返回acks信息后，Producer根据应答将数据存入磁盘。

2、Kafka 的设计架构你知道吗？

Producer：消息生产者，就是向 Kafka broker 发消息的客户端。 
Consumer：消息消费者，向 Kafka broker 取消息的客户端。 
Consumer Group（CG）：消费者组，由多个 consumer 组成。
消费者组内每个消 费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；
消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者 
Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。 
Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。
Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和 Leader 数据的同步。
Leader 发生故障时，某个 Follower 会成为新的 Leader。

3、Kafka 分区的目的？

  （1）便于合理使用存储资源， 可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。

2）提高并行度，（类似java的多线程）多个分区共同处理同一组数据，能大幅度提高效率。