1、kafka消息发送的流程?
kafka消息的发送主要涉及两个线程分别是main线程和sender线程。
在main线程中,会由KafkaProducer创建消息,通过可能存在的拦截器、 序列化器、和分区器的作用后,缓存到消息累加器(RecrdAccumlator)中,在消息累加器中,每一个分区对应一个双端队列,当每个分区的消息会放入对应的双端队列,当batch.size到达16k或到达linger.ms设置的时间后,会由sender线程读取。
Sender线程在从消息累加器中读取到消息后,会创建发送的请求,kafka集群的每一个broker都会有一个InFlightRequests队列存在于NetWorkClient中,一般情况下,每个InFlightRequests队列缓存5个请求,这些请求通过selector发送到kafka集群,当集群返回acks信息后,Producer根据应答将数据存入磁盘。
2、Kafka 的设计架构你知道吗?
Producer:消息生产者,就是向 Kafka broker 发消息的客户端。
Consumer:消息消费者,向 Kafka broker 取消息的客户端。
Consumer Group(CG):消费者组,由多个 consumer 组成。
消费者组内每个消 费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;
消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者
Broker:一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。
Leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。
Follower:每个分区多个副本中的“从”,实时从 Leader 中同步数据,保持和 Leader 数据的同步。
Leader 发生故障时,某个 Follower 会成为新的 Leader。
3、Kafka 分区的目的?
(1)便于合理使用存储资源, 可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务,可以实现负载均衡的效果。
2)提高并行度,(类似java的多线程)多个分区共同处理同一组数据,能大幅度提高效率。