2024年最全Kafka面试宝典,双非渣本大数据开发四年磨一剑

本文探讨了如何通过系统化的在线学习资源提升技术能力,特别强调了Kafka的设计特点如分区、顺序写入、0-copy等对性能的影响。同时介绍了Kafka的用途、消息顺序性以及适合不同水平的学习资源。
摘要由CSDN通过智能技术生成

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 3.零拷贝:如果数据读取命中了页缓存,数据会从页缓存直接发送到网卡进行数据传输,省略了用户态和内核态的切换以及多次的数据拷贝;
  • 4.顺序读写:Kafka的数据是顺序追加的,避免了低效率的随机读写;
  • 5.优秀的文件存储机制:分区规则设置合理的话,所有消息都可以均匀的分不到不同分区,分区日志还可以分段,相当于举行文件被平均分配为多个相对较小的文件,便于文件维护和清理;
  • 索引文件:Kafka含有.index和.timeindex索引,以稀疏索引的方式进行构造,查找时可以根据二分法在索引文件中快速定位到目标数据附近位置,然后再.log文件中顺序读取到目标数据;

Kafka的那些设计让它有如此高的性能:分区,顺序写磁盘,0-copy,稀疏索引利用二分查找找到对应数据,批量文件压缩

  1. Kafka的用途有哪些?使用场景如何?

    1. 异步处理,发送短信
    2. 应用解耦
    3. 流量削锋
    4. 日志处理
    5. 消息通讯
  2. Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么

    • ISR :In-Sync Replicas 副本同步队列
    • AR :Assigned Replicas 所有副本
    • ISR是由leader维护,follower从leader同步数据有一些延迟(包括 延迟时间replica.lag.time.max.ms 和 延迟条数replica.lag.max.message 两个维度,当前最新的版本0.10.x中只支持 replica.lag.time.max.ms 这个维度),任意一个超过阈值都会把follower剔除出ISR,存入OSR(Outof-Sync Replicas)列表,新加入的follower也会先存放在OSR中。

注:AR = ISR + OSR

  1. Kafka中的HW、LEO、LSO、LW等分别代表什么?

    • 在Kafka中,HW(High Watermark)表示消费者可见的最高偏移量,
    • LEO(Log End Offset)表示当前分区的最高偏移量,
    • LSO(Log Start Offset)表示当前分区的最低偏移量,
    • LW(Log Write Offset)表示当前分区的写入偏移量。
    • HW是消费者的偏移量上限,消费者只能消费到HW之前的消息。LEO是分区中消息的最高偏移量,LSO是分区中消息的最低偏移量,LW是分区的写入偏移量。
  2. Kafka中是怎么体现消息顺序性的?

    • 只能保证分区内消息顺序有序,无法保证全局有序
    • 生产者:通过分区的leader副本负责数据顺序写入,来保证消息顺序性
    • 消费者:同一个分区内的消息只能被一个group里的一个消费者消费,保证分区内消费有序
    • 为什么做不到全局有序:因为消息会发送到不一样的分区,分区之间发送的顺序是无法保证的

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

需要这份系统化资料的朋友,可以戳这里获取*

  • 24
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值