面试大杂烩之kafka

星辰_mya

已于 2024-05-26 16:00:10 修改

阅读量1k

点赞数 23

文章标签：面试 java kafka

于 2024-05-25 23:20:04 首次发布

本文链接：https://blog.csdn.net/ma15732625261/article/details/139200524

版权

面试这个领域最近环境不行，所以卷起来流量挺大

搭建：

总体来说比较简单，主要是配置文件，命令的话分开了producer /consumer/ topic 大概这么个意思。具体可以看里面的博客

#host配置
#安装包
wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.13-3.2.0.tgz
#压缩 配置系统变量
#zk集群搭建 当然kafka自带zk 这都行，集群中zk的配置是都需要改的
#3.x kafka提供了kraft取代zk
https://blog.csdn.net/qq_41865652/article/details/126588263

点对点：生产者发送消息到队列，消费者从队列取出并消费（消费后不再储存）

一条消息只会被一个消费者消费，想发给多个消费者多次发送

发布/订阅：一对多，多个订阅者消费消息，数据保留指定期限，默认7天

同一个消费组中消费者不能消费同一个partition中的数据

一个消费者一个分区（消费组）

0.9 偏移量储存在kafka的topic中

0.9将offset保存在zk中，0.9及后保存在Kafka“__consumer_offsets”主题

生产者

生产消息追加到log文件，采用分片/索引机制，将每个partition 分为多个segment，每个segment对应2个文件 index log，同一文件夹（topic名称+分区序号）。

同步

同步：ISR列表（同步副本里面的follow与leader同步，选择从这个里面选 H W/LEO）

HW：消费者能看到的offset，isr队列min的LED ，hw-led待同步的消息

选leader （epoch，offset）二位数组，前面是任期后面是标识大小谁最新

follower故障，从isr剔除，恢复后读取上一次HW高于的截取掉从hw开始向leader同步加入isr

ack-1 数据不丢但会重，生产者pid消息seqnumber 如pid partion seqnumber一样，重复数据
0不重复丢失

消费者

拉取pull，无消息死循环，消费者消费数据时传递timeout参数，当时无数据等待一段时间再返回

topic多个partion

轮询rountRobin对topic组生效，一个消费组内all消费者订阅主题是一样的
rang单个topic生效，数据不均衡

消费者不能同时消费同组的同一个分区

分区策略：消费者组消费者个数发生变化

offset维护

断电宕机，消费者恢复后记录的offset(zk/kafka)

消费者/topic/partion 确定offset

流程

producer两个线程，主线程拦截/序列化/分区==》处理消息到消息累加器(32M / 队列) producerBatch批量发送到sender线程，批量组织request 给selector 送到kafka

kafka 数据存储在 pageCache 异步刷盘 flusher 追加到日志文件

partition . segment：

log 存储数据位置：offset

index索引，相对位移:物理位置；稀疏索引 msg设置指针 mmap进行内存操作

被消费ack 清缓存

消费者带着offset，去fetch 利用sendfile底层NIO(transferTo/transferFrom)

消费者能力不足：

原因：

大量数据流 consumer崩溃 rebalance 消费速率下降
洪峰时consumer从broker取出大量数据，在session.timeout.ms内没有消费完 consumer coordinator没有接受到心跳挂断，自动提交offset失败(重新分配partition重新消费超时死循环)，触发rebalance
kafka限速

rebalance本质是协议，consumer group下all消费者如何达成一致分配订阅topic每个分区

coordinator执行consumer group管理