大数据开发岗常见面试复习30天冲刺 - 日积月累，每日五题【Day05】——Kafka3

前言

大家好，我是manor。作为一名大数据专业学生、爱好者，深知面试重要性，很多学生已经进入暑假模式，暑假也不能懈怠，正值金九银十的秋招
接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍热门面试题及提供部分个人理解。

相信只要一路走来，日积月累，我们终会在最高处见。
以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！

本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。

不要急着往下滑，默默想5min，看看这5道面试题你都会吗？

面试题 01、请简述如何使用Kafka Simple Java API 实现数据消费？描述具体的类及方法
面试题02、请简述Kafka生产数据时如何保证生产数据不丢失？
面试题 03 请简述Kafka生产数据时如何保证生产数据不重复？
面试题04、Kafka中生产者的数据分区规则是什么，如何自定义分区规则？
面试题05、Kafka中消费者消费数据的规则是什么？

面试题 01、请简述如何使用Kafka Simple Java API 实现数据消费？描述具体的类及方法

•step1：构建消费者连接对象：KafkaConsumer
–需要配置对象：管理配置，例如连接地址：Properties
•step2：消费者需要订阅Topic
–KafkaConsumer：subscribe（List）
•step3：消费数据
–KafkaConsumer：poll：实现拉取消费数据
–ConsumerRecords：拉取到的所有数据集合
–ConsumerRecord：消费到的每一条数据
•topic：获取数据中的Topic
•partition：获取数据中的分区编号
•offset：获取数据的offset
•key：获取数据中的Key
•value：获取数据中的Value

面试题02、请简述Kafka生产数据时如何保证生产数据不丢失？

•acks机制：当接收方收到数据以后，就会返回一个确认的ack消息
•生产者向Kafka生产数据，根据配置要求Kafka返回ACK
–ack=0：生产者不管Kafka有没有收到，直接发送下一条
•优点：快
•缺点：容易导致数据丢失，概率比较高
–ack=1：生产者将数据发送给Kafka，Kafka等待这个分区leader副本写入成功，返回ack确认，生产者发送下一条
•优点：性能和安全上做了平衡
•缺点：依旧存在数据丢失的概率，但是概率比较小
–ack=all/-1：生产者将数据发送给Kafka，Kafka等待这个分区所有副本全部写入，返回ack确认，生产者发送下一条
•优点：数据安全
•缺点：慢
•如果使用ack=all，可以搭配min.insync.replicas参数一起使用，可以提高效率
–min.insync.replicas：表示最少同步几个副本以后，就返回ack
•如果生产者没有收到ack，就使用重试机制，重新发送上一条消息，直到收到ack

面试题 03 请简述Kafka生产数据时如何保证生产数据不重复？

•数据重复的场景：Kafka写入数据，返回ack，但是ack丢失，生产者没有收到ack，重新写入数据，导致Kafka数据重复
•Kafka中使用幂等性机制来保证生产数据不重复
–step1：发送数据时，给每条数据增加一个数据id的编号，每次下一条数据的编号自增1
–step2：Kafka将数据写入，并记住写入的数据id
–step3：如果下一条数据的id与上一次的数据id一致，就不写入，直接返回ack

面试题04、Kafka中生产者的数据分区规则是什么，如何自定义分区规则？

•如果指定了分区：就写入指定的分区
•如果没有指定分区，就判断是否指定了Key
–如果指定了Key：根据Key的Hash取余分区
–如果没有指定Key：根据黏性分区来实现
•自定义分区
–开发一个类实现Partitioner接口
–实现partition方法
–在生产者中指定分区器的配置

面试题05、Kafka中消费者消费数据的规则是什么？

•消费者根据Offset对Topic中的分区进行消费
•第一次消费：根据auto.offset.reset属性进行消费
–latest：从最新的位置开始消费
–earliest：从头开始消费
•第二次消费：根据上一次的offset+1继续消费

总结

今天我们复习了面试中常考的Kakfa相关的五个问题，你做到心中有数了么？
其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在吹水群甚至都没有谈资！
对了，如果你的朋友也在准备面试，请将这个系列扔给他，
好了，今天就到这里，学废了的同学，记得在评论区留言：打卡。给同学们以激励。