3、什么是kafka？
kafka是一种基于订阅发布模式的高性能，高吞吐的实时的消息队列，是一个分布式系统，高性能的TCP网络协议进行的。
4、消息队列的模式主要分成两种模式?
a、生产者、消费者模式
b、消息队列模式
5、kafka的组成：
kafaka主要是由生产者、消费者、broker、zookeeper组成
其中：
生产者：生产数据
消费者：消费数据
broker：是kafka集群中服务器节点
topic：一个topic是kafka集群中数据流中的列别，存储数据
partition：一个topic可以分成多个分区。
replica：副本，实现kafka集群的容错
consumer group：消费者组，对于同一个消费者中的消费者可以消费同一个topic
offset：偏移量，对于消费者和partition来说，可以通过offset进行拉取数据。
6、在kafka集群中，对于分区也分leader和follower（在分区的层面上讨论）
leader ：只负责读写数据
follower：负责同步数据，选举作用。
7、幂等性：
所谓的幂等性就是无论生产者向broker中发送多少条数据，broker只会持久化一条数据
实现原理：
当生产者生产完数据就会发送到分区中进行保存，此时kafka就会向生产者发送ack信号，当生产者接受的ack响应表示数据保存，否则就会重新发送一条相同的数据。
8、副本的ack机制：
1、acks=0，生产者只负责写入数据，不管数据是否写入成功，数据可能会丢失，性能是最好的。
2、acks=1，生产者将数据写入到leader中，返回写入成功，就会继续发送下一条数据
3、acks=-1/all，生产者将数据写入到leader中，同时也会将数据写入到副本中，当所有的数据都写入成功后，就返回写入成功，才会发送下一条数据。
9、生产者写入分区的策略：
1、轮询负载策略：将数据循环写入分区中
2、基于hash的分区策略：根据hash的值进入不同的分区中
3、基于key写入分区：通过hash值与分区的个数继续取余，但是会导致数据倾斜。
4、消费者消费数分区分配策略：默认使用的是range分配。
10、leader选举：
在kafka集群中，controller是通过zk进行选举。在分区中的leader是通过ISR进行选举的。
11、kafka的读写流程：
kafka的读数据：
1、通过zk找出partition对应的leader，leader负责读取数据。
2、通过zk找出对应的消费者的offset
3、leader从对应的offset开始读取数据
4、提交offset
kafka的写数据
1、通过zk找到对应的partition对应的leader，leader负责写入数据
2、生产者向leader中写入数据
3、ISR中的fllower负责同步数据，并返回ack给leader。
4、返回ack给生产者。
12、kafka性能高的原因：
1、kafka采用的是一个sendfile的零拷贝技术
2、kafka是批量写入和读取的，一批批的写入数据，默认写入和读取的大小约64kb左右。是在分区级别上来说明的。
3、kafka写磁盘是顺序读取和写入的。
13、kafka中的文件删除策略：
默认是7天作为一个周期，删除的是整个文件，系统默认是1G生成一个文件，可以在配置文件中修改：
server.properties
14、kafka中分区的目的：
实现分布式，一个topic的数据量非常大，只存在同一个分区中压力会比较大。
15、在Kafka中是如何保证数据不丢失：
1、broker保证数据不丢失的原因是副本机制
2、生产者保证数据不丢失的原因是acks机制
3、消费者保证数据不丢失的原因是控制offset
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-yPP1OU2T-1713024261927)]
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
