- 索引文件:Kafka含有.index和.timeindex索引,以稀疏索引的方式进行构造,查找时可以根据二分法在索引文件中快速定位到目标数据附近位置,然后再.log文件中顺序读取到目标数据;
Kafka的那些设计让它有如此高的性能:分区,顺序写磁盘,0-copy,稀疏索引利用二分查找找到对应数据,批量文件压缩
-
Kafka的用途有哪些?使用场景如何?
- 异步处理,发送短信
- 应用解耦
- 流量削锋
- 日志处理
- 消息通讯
-
Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么
- ISR :In-Sync Replicas 副本同步队列
- AR :Assigned Replicas 所有副本
- ISR是由leader维护,follower从leader同步数据有一些延迟(包括 延迟时间replica.lag.time.max.ms 和 延迟条数replica.lag.max.message 两个维度,当前最新的版本0.10.x中只支持 replica.lag.time.max.ms 这个维度),任意一个超过阈值都会把follower剔除出ISR,存入OSR(Outof-Sync Replicas)列表,新加入的follower也会先存放在OSR中。
注:AR = ISR + OSR
-
Kafka中的HW、LEO、LSO、LW等分别代表什么?
- 在Kafka中,HW(High Watermark)表示消费者可见的最高偏移量,
- LEO(Log End Offset)表示当前分区的最高偏移量,
- LSO(Log Start Offset)表示当前分区的最低偏移量,
- LW(Log Write Offset)表示当前分区的写入偏移量。
- HW是消费者的偏移量上限,消费者只能消费到HW之前的消息。LEO是分区中消息的最高偏移量,LSO是分区中消息的最低偏移量,LW是分区的写入偏移量。
-
Kafka中是怎么体现消息顺序性的?
- 只能保证分区内消息顺序有序,无法保证全局有序
- 生产者:通过分区的leader副本负责数据顺序写入,来保证消息顺序性
- 消费者:同一个分区内的消息只能被一个group里的一个消费者消费,保证分区内消费有序
- 为什么做不到全局有序:因为消息会发送到不一样的分区,分区之间发送的顺序是无法保证的
- 如何做到并发且全局有序?
- topic设置一个分区,发送端和消费端开启多线程生产和消费
- 用kafka采集用户访问轨迹,重写分区器把用户id作为分区键,这样每个用户访问的埋点记录就能按顺序到一个分区,然后有序消费
-
Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
- 生产者拦截器和消费者拦截器,拦截器可以用来在消息发送前做一些准备工作
- 生产者需要用序列化器(Serializer)将key和value序列化成字节数组才可以将消息传入Kafka。消费者需要用反序列化器
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
加VX:vip204888 (备注大数据获取)**
[外链图片转存中…(img-LDxlCYof-1712850241980)]