大数据开发岗常见面试复习30天冲刺 - 日积月累，每日五题【Day05】——Kafka3_如何做到30天数据每天提取4天数据,持续不重复

面试题 01、请简述如何使用Kafka Simple Java API 实现数据消费？描述具体的类及方法

•step1：构建消费者连接对象：KafkaConsumer
–需要配置对象：管理配置，例如连接地址：Properties
•step2：消费者需要订阅Topic
–KafkaConsumer：subscribe（List）
•step3：消费数据
–KafkaConsumer：poll：实现拉取消费数据
–ConsumerRecords：拉取到的所有数据集合
–ConsumerRecord：消费到的每一条数据
•topic：获取数据中的Topic
•partition：获取数据中的分区编号
•offset：获取数据的offset
•key：获取数据中的Key
•value：获取数据中的Value

面试题02、请简述Kafka生产数据时如何保证生产数据不丢失？

•acks机制：当接收方收到数据以后，就会返回一个确认的ack消息
•生产者向Kafka生产数据，根据配置要求Kafka返回ACK
–ack=0：生产者不管Kafka有没有收到，直接发送下一条
•优点：快
•缺点：容易导致数据丢失，概率比较高
–ack=1：生产者将数据发送给Kafka，Kafka等待这个分区leader副本写入成功，返回ack确认，生产者发送下一条
•优点：性能和安全上做了平衡
•缺点：依旧存在数据丢失的概率，但是概率比较小
–ack=all/-1：生产者将数据发送给Kafka，Kafka等待这个分区所有副本全部写入，返回ack确认，生产者发送下一条
•优点：数据安全
•缺点：慢
•如果使用ack=all，可以搭配min.insync.replicas参数一起使用，可以提高效率
–min.insync.replicas：表示最少同步几个副本以后，就返回ack
•如果生产者没有收到ack，就使用重试机制，重新发送上一条消息，直到收到ack

面试题 03 请简述Kafka生产数据时如何保证生产数据不重复？

•数据重复的场景：Kafka写入数据，返回ack，但是ack丢失，生产者没有收到ack，重新写入数据，导致Kafka数据重复
•Kafka中使用幂等性机制来保证生产数据不重复
–step1：发送数据时，给每条数据增加一个数据id的编号，每次下一条数据的编号自增1
–step2：Kafka将数据写入，并记住写入的数据id
–step3：如果下一条数据的id与上一次的数据id一致，就不写入，直接返回ack

面试题04、Kafka中生产者的数据分区规则是什么，如何自定义分区规则？

•如果指定了分区：就写入指定的分区
•如果没有指定分区，就判断是否指定了Key
–如果指定了Key：根据Key的Hash取余分区
–如果没有指定Key：根据黏性分区来实现
•自定义分区
–开发一个类实现Partitioner接口
–实现partition方法
–在生产者中指定分区器的配置

面试题05、Kafka中消费者消费数据的规则是什么？

•消费者根据Offset对Topic中的分区进行消费
•第一次消费：根据auto.offset.reset属性进行消费
–latest：从最新的位置开始消费
–earliest：从头开始消费
•第二次消费：根据上一次的offset+1继续消费

总结

今天我们复习了面试中常考的Kakfa相关的五个问题，你做到心中有数了么？
其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在吹水群甚至都没有谈资！
对了，如果你的朋友也在准备面试，请将这个系列扔给他，
好了，今天就到这里，学废了的同学，记得在评论区留言：打卡。给同学们以激励。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！*