kafka把数据都存在文件里为什么能这么快?
顺序写磁盘,索引文件,nio,零拷贝
多生产者,多消费者,多patation,并行写,并行读
消费消息的时候,消费者可以通过group + topic + partition 可以确定唯一一个offset
kafka将数据存在文件里,查询速度还是很快的原因。通过offset定位index文件,在根据固定大小的行快速找到对应的行,这一行中存储着offset这条数据的起始便宜量和数据大小,然后去log中直接读取这块数据。
kafka把数据都存在文件里为什么能这么快?
顺序写磁盘,索引文件,nio,零拷贝
多生产者,多消费者,多patation,并行写,并行读
消费消息的时候,消费者可以通过group + topic + partition 可以确定唯一一个offset
kafka将数据存在文件里,查询速度还是很快的原因。通过offset定位index文件,在根据固定大小的行快速找到对应的行,这一行中存储着offset这条数据的起始便宜量和数据大小,然后去log中直接读取这块数据。