kafka总结

kafka如何保证消息不丢失
生产者端：ack配置-1，server端，isr的数量要配置大于1，消费者端，不要异步消费。

kafka的ISR、HW、LEO
ISR表示处于同步状态中的副本，处于同步状态指的是落后的消息在指定的范围内。如果当前的保持同步的副本数量低于ISR，kafka将决绝写入数据，和redis的min-slave同理。
LEO全称是log end offset，表示已经保存的消息的下标。
HW全称是high water mark，表示处于ISR中的所有的副本的最小的LEO，只有HW以前的消息可以被消费者消费。

kafka的主从同步
kafka的非leader副本像消费者一样去拉取数据，拉取的请求中会带着自己的LEO，主节点响应拉取的请求，同时会根据LEO更新自己的HW，拉取的结果中含有数据和HW，从副本拉取到数据后写入到自己的节点同时更新自己的HW和LEO，然后做下一次的拉取。

kafka的controller
和solr一样，都是靠zk实现的，在一个节点下投票，生成一个有序节点，谁的节点的数字小就是leader，然后每个非leader都监听比自己小1的节点，等发生事件后，再重新选leader。

kafka的消费者是如何提交的
是消费者提交的。

kafka如何快速定位到要拉取的消息
kafka的文件是分成多个文件保存的，每个文件的大小是1g，方便在内存中保存，写完一个文件后又写下一个文件，每个文件都有稀疏索引，其中索引中记录了offset和在文件中的下标。根据消费者要拉取的数据的offset，使用二分查找法找到下标，就可以读取了。

kafka某个分片的非主节点可以读取吗？
kafka只有leader repliaca可以提供服务，读写都是，和redis不一样。

kafka的缺点：
1、不支持太多的topic，不然顺序写变为随机写。
2、不能实时刷盘，存在丢失数据的问题。
3、有主从选举，会丢失数据。