高效读写:
- 零拷贝: kafka和RocketMQ都是通过零拷贝技术来优化文件读写。
-
传统文件复制方式 : 需要对文件在内存中进⾏四次拷贝。
-
零拷贝 : 有两种方式, mmap 和 transfile ,Java当中对零拷贝进行了封装, Mmap方式通过MappedByteBuffer对象 进⾏操作,而transfile通过FileChannel来进⾏操作。Mmap 适合比较小的文 件,通常⽂件大小不要超过 1.5G ~2 G 之间。 Transfile没有⽂件大小限制。RocketMQ当中使用Mmap方 式来对他的⽂件进行读写。
在kafka当中,他的index⽇志⽂件也是通过mmap的方式来读写的。在其他⽇志⽂件当中,并没有使用零拷贝的⽅式。Kafka使⽤transfile⽅式将硬盘数据加载到⽹卡。