Kafka_面试题

最新推荐文章于 2024-09-03 21:22:17 发布

米尔柯

最新推荐文章于 2024-09-03 21:22:17 发布

阅读量947

点赞数 2

分类专栏： # Kafka 文章标签： kafka

点赞关注，我是迷尔柯，谢谢支持~

本文链接：https://blog.csdn.net/qq_33301866/article/details/109106063

版权

Kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Kafka面试题

1. Kafka中的ISR、AR又代表什么？

AR:Assigned Replicas 所有副本，包括主
ISR:In-Sync Replicas 副本同步队列（ISR由leader维护，follower从leader同步数据有一些延迟）
（包括延迟时间replica.lag.time.max.ms和延迟条数replica.lag.max.messages两个维度）

当前最新的版本0.10.x中只支持replica.lag.time.max.ms这个维度），任意一个超过阈值都会把follower剔除出ISR,存入OSR（Outof-Sync Replicas）列表，新加入的follower也会先存放在OSR中。
AR=ISR+OSR。

2. Kafka中的HW、LEO等分别代表什么？

LEO：（Log End Offset）每个副本的最后条消息的offset
HW：（High Watermark）俗称高水位，一个分区中所有副本最小的offset

3. Kafka中是怎么体现消息顺序性的？

Kafka只能保证分区内消息顺序有序,无法保证全局有序
实际业务中：
1）一个 topic，一个 partition，一个 consumer，内部单线程消费，单线程吞吐量太低，一般不会用这个。
2）写 N 个内存 queue，具有相同 key 的数据都到同一个内存 queue；然后对于 N 个线程，每个线程分别消费一个内存 queue 即可，这样就能保证顺序性。

4. Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？

拦截器(onSend onAcknowledgement)->序列化器->分区器

5. Kafka生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？

1个主线程，一个sender线程。主线程有拦截器(onSend onAcknowledgement)->序列化器->分区器，sender线程负责堆积（或到指定时间）发送数据到对应分区

6. 消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？

消费者个数如果超过topic的分区，那么就会有消费者消费不到数据，一个分区只能被一个消费者消费

7. 消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1？

offset+1，文件也是这样命名的

8. 有哪些情形会造成重复消费？

1)从生产者端：
ack 设置为 -1 ，Leader收到数据follower同步数据后，brocker准备返回ack的时候挂掉了，新选出的Leader则会出现重复发送的情况
2)从消费者端：
先消费后提交，消费完成以后offset没有提交成功，下次消费时则会导致重复

9. 那些情景会造成消息漏消费？

1)从生产者端：
ack 设置为 0或者1时
–为0时，无状态返回，不知道是否收到
–为1时，只有Leader收到就返回ack，此时Leader挂了，副本尚未同步，则会漏消费。
2)从消费者端：
先提交后消费时

10. 当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？

1、会在zookeeper中的/brokers/topics节点下创建一个新的topic节点，如：/brokers/topics/first
2、触发Controller的监听程序
3、kafka Controller 负责topic的创建工作，并更新metadata cache

11. topic的分区数可不可以增加减少？为什么？

可以增加，不能减少。

12. kafka producer如何优化打入速度

增加线程
提高 batch.size
增加更多 producer 实例
增加 partition 数
设置 acks=-1 时，如果延迟增大：可以增大 num.replica.fetchers（follower 同步数据的线程数）来调解；
跨数据中心的传输：增加 socket 缓冲区设置以及 OS tcp 缓冲区设置。

13. Kafka有内部的topic吗？如果有是什么？有什么所用？

__consumer_offsets：作用是保存 Kafka 消费者的位移信息

14. Kafka分区分配的概念？

1、range
2、Round-robin

15. 简述Kafka的日志目录结构？

一个Topic有多个partition，一个partition对应一个目录，目录命名，topic-分区id。
下面分多个segment目录，命名是以topic名称和开始消息的偏移量来命名的，目录主要有两类文件log和index文件。

16. 如果我指定了一个offset，Kafka Controller怎么查找到对应的消息？

通过 offset找到对应的segment目录，目录下找到index文件，再去log文件中获取消息

17. 聊一聊Kafka Controller的作用？

Kafka集群的管理者，依赖zookeeper
在Kafka早期版本，对于分区和副本的状态的管理依赖于zookeeper的Watcher和队列：每一个broker都会在zookeeper注册Watcher，所以zookeeper就会出现大量的Watcher, 如果宕机的broker上的partition很多比较多，会造成多个Watcher触发，造成集群内大规模调整；每一个replica都要去再次zookeeper上注册监视器，当集群规模很大的时候，zookeeper负担很重。这种设计很容易出现脑裂和羊群效应以及zookeeper集群过载。
新版本该变了这种设计，使用KafkaController，只有KafkaController
Leader会向zookeeper上注册Watcher，其他broker几乎不用监听zookeeper的状态变化
Kafka集群中多个broker，有一个会被选举为controller leader，负责管理整个集群中分区和副本的状态，比如partition的leader 副本故障，由controller 负责为该partition重新选举新的leader 副本；当检测到ISR列表发生变化，有controller通知集群中所有broker更新其MetadataCache信息；或者增加某个topic分区的时候也会由controller管理分区的重新分配工作
当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点的KafkaController才可以成为leader，其余的都是follower。当leader故障后，所有的follower会收到通知，再次竞争在该路径下创建节点从而选举新的leader（先到先得）