kafka如何保证消息不丢失
生产者端:ack配置-1,server端,isr的数量要配置大于1,消费者端,不要异步消费。
kafka的ISR、HW、LEO
ISR表示处于同步状态中的副本,处于同步状态指的是落后的消息在指定的范围内。如果当前的保持同步的副本数量低于ISR,kafka将决绝写入数据,和redis的min-slave同理。
LEO全称是log end offset,表示已经保存的消息的下标。
HW全称是high water mark,表示处于ISR中的所有的副本的最小的LEO,只有HW以前的消息可以被消费者消费。
kafka的主从同步
kafka的非leader副本像消费者一样去拉取数据,拉取的请求中会带着自己的LEO,主节点响应拉取的请求,同时会根据LEO更新自己的HW,拉取的结果中含有数据和HW,从副本拉取到数据后写入到自己的节点同时更新自己的HW和LEO,然后做下一次的拉取。
kafka的controller
和solr一样,都是靠zk实现的,在一个节点下投票,生成一个有序节点,谁的节点的数字小就是leader,然后每个非leader都监听比自己小1的节点,等发生事件后,再重新选leader。
kafka的消费者是如何提交的
是消费者提交的。
kafka如何快速定位到要拉取的消息
kafka的文件是分成多个文件保存的,每个文件的大小是1g,方便在内存中保存,写完一个文件后又写下一个文件,每个文件都有稀疏索引,其中索引中记录了offset和在文件中的下标。根据消费者要拉取的数据的offset,使用二分查找法找到下标,就可以读取了。
kafka某个分片的非主节点可以读取吗?
kafka只有leader repliaca可以提供服务,读写都是,和redis不一样。
kafka的缺点:
1、不支持太多的topic,不然顺序写变为随机写。
2、不能实时刷盘,存在丢失数据的问题。
3、有主从选举,会丢失数据。