网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
9、生产者写入分区的策略：
1、轮询负载策略：将数据循环写入分区中
2、基于hash的分区策略：根据hash的值进入不同的分区中
3、基于key写入分区：通过hash值与分区的个数继续取余，但是会导致数据倾斜。
4、消费者消费数分区分配策略：默认使用的是range分配。
10、leader选举：
在kafka集群中，controller是通过zk进行选举。在分区中的leader是通过ISR进行选举的。
11、kafka的读写流程：
kafka的读数据：
1、通过zk找出partition对应的leader，leader负责读取数据。
2、通过zk找出对应的消费者的offset
3、leader从对应的offset开始读取数据
4、提交offset
kafka的写数据
1、通过zk找到对应的partition对应的leader，leader负责写入数据
2、生产者向leader中写入数据
3、ISR中的fllower负责同步数据，并返回ack给leader。
4、返回ack给生产者。
12、kafka性能高的原因：
1、kafka采用的是一个sendfile的零拷贝技术
2、kafka是批量写入和读取的，一批批的写入数据，默认写入和读取的大小约64kb左右。是在分区级别上来说明的。
3、kafka写磁盘是顺序读取和写入的。
13、kafka中的文件删除策略：
默认是7天作为一个周期，删除的是整个文件，系统默认是1G生成一个文件，可以在配置文件中修改：
server.properties
14、kafka中分区的目的：
实现分布式，一个topic的数据量非常大，只存在同一个分区中压力会比较大。
15、在Kafka中是如何保证数据不丢失：
1、broker保证数据不丢失的原因是副本机制
2、生产者保证数据不丢失的原因是acks机制
3、消费者保证数据不丢失的原因是控制offset
16、zk在Kafka中作用：
1、负责选举controller
2、存储元数据信息
17、kafka的架构：
主节点：controller
从节点：borker
18、消费者和消费者组的关系：
1、消费者是负责订阅分区中的数据，然而对于消费者组来说是负责订阅topic的
2、一个消费者组中包含多个消费者，同一个消费者组中消费者可以订阅同一个topic
19、在Kafka中是如何保证数据的安全性
是通过kafka中的副本机制保证了数据的安全性。
20、怎么解决kafka数据量过大
1、可以增加topic的分区数，可以提高并行处理更多的数据
kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --partitions 10
2、增加副本因子，可以提高数据的冗余，提高数据的可靠性
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --replication-factor 3
3、调整消费者的并行度
4、优化生产者配置：
batch.size:增加批处理提高吞吐量
5、配置清理策列：根据数据保留策略配置日志保留时间和日志大小，定期清理旧数据
6、扩大kafka集群的规模：增加broker节点的数量
21、在Kafka中生产者是如何保证数据不丢失的
通过acks机制保证数据不丢失。
22、kafka中是如何保证数据不重复的
在kafka中使用幂等性来保证数据不重复的，在发送数据的时候，会给数据定义一个编号ID，当下次传输数据的时候ID+1，将数据写入的时候会记住这个编号，如果下一条数据的ID与上一个数据的ID一致，那么说明数据重复，不写入，返回ack。
23、消费者出问题，如何保证数据不丢失
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
扫一扫
958
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
