kafka传递文件_Kafka基于磁盘顺序IO和零拷贝技术实现高性能文件读写

[TOC]

一、概述

Kafka作为一个支持大数据量写入写出的消息队列，由于是基于Scala和Java实现的，而Scala和Java均需要在JVM上运行，所以如果是基于内存的方式，即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写，从而会导致GC频繁影响性能。考虑到这些因素，kafka是使用磁盘而不是kafka服务器broker进程内存来进行数据存储，并且基于磁盘顺序读写和MMAP技术来实现高性能。

二、存储结构

目录与文件结构

由之前的文章分析可知，kafka是通过主题和分区来对消息进行分类的，所以在磁盘存储结构方面也是基于分区来组织的，即每个目录存放一个分区的数据，目录名为“主题-分区号”，如mytopic这个主题包含两个分区，则对应的数据目录分别为：mytopic-0和my-topic-1，如下：

./kafka-topics.sh --create --topic mytopic --partitions 2 --zookeeper localhost:2181 --replication-factor 2

xyzdeMacBook-Pro:bin xyz ./kafka-topics.sh --describe --topic mytopic --zookeeper localhost:2181

Topic:mytopic PartitionCount:2 ReplicationFactor:2 Configs:

Topic: mytopic Partition: 0 Leader: 2 Replicas: 2,1 Isr: 2,1

Topic: mytopic Partition: 1 Leader: 0 Replicas: 0,2 Isr: 0,2

由于在本机存