Kafka的高性能磁盘读写实现原理
发布时间:2019-04-27 22:31,
浏览次数:403
, 标签:
Kafka
<>一、概述
*
Kafka作为一个支持大数据量写入写出的消息队列,由于是基于Scala和Java实现的,而Scala和Java均需要在JVM上运行,所以如果是基于内存的方式,即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写,从而会导致GC频繁影响性能。考虑到这些因素,kafka是使用磁盘而不是kafka服务器broker进程内存来进行数据存储,并且基于磁盘顺序读写和MMAP技术来实现高性能。
<>二、存储结构
<>目录与文件结构
*
由之前的文章分析可知,kafka是通过主题和分区来对消息进行分类的,所以在磁盘存储结构方面也是基于分区来组织的,即每个目录存放一个分区的数据,目录名为“主题-分区号”,如mytopic这个主题包含两个分区,则对应的数据目录分别为:mytopic-0和my-topic-1,如下:
./kafka-topics.sh --create --topic mytopic --partitions 2 --zookeeper
localhost:2181 --replication-factor 2 xyzdeMacBook-Pro:bin xyz
./kafka-topics.sh --describe --topic mytopic --zookeeper localhost:2181
Topic:mytopic PartitionCount:2 ReplicationFacto