Java高效读取大文件

1、概述

本教程将演示如何用Java高效地读取大文件。

2、在内存中读取

读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：

Files.readLines(new File(path), Charsets.UTF_8);
 
FileUtils.readLines(new File(path));

这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。

例如：读取一个大约1G的文件：

@Test
public void givenUsingGuava_whenIteratingAFile_thenWorks() throws IOException {
    
    String path = ...
    Files.readLines(new File(path), Charsets.UTF_8);
}

这种方式开始时只占用很少的内存：（大约消耗了0Mb内存）