java读取大文件

在Java中，读取大型文件是一项常见的任务，但在处理这类文件时，我们必须格外关注性能和内存管理。传统的文件读取方法，如使用`FileInputStream`或`BufferedReader`，可能会将整个文件内容一次性加载到内存中，从而引发内存溢出错误（OutOfMemoryError）。对于大型文件而言，这种处理方式显然是不可取的。

为了优化这一过程，我们可以采用流式读取的方式。流式读取允许我们一次只处理文件的一小部分内容，而不是将整个文件加载到内存中。这可以通过使用`BufferedReader`或`Scanner`类来实现，实现如下：

FileInputStream inputStream = null;

Scanner sc = null;

try {

inputStream = new FileInputStream(path);

sc = new Scanner(inputStream, UTF-8);

while (sc.hasNextLine()) {

  String line = sc.nextLine();

  // System.out.println(line);

  }

}catch(IOException e){

  logger.error(e);

}finally {

  if (inputStream != null) {

  inputStream.close();

  }

  if (sc != null) {

    sc.close();

  }

}

代码解析：

首先，我们创建一个`FileInputStream`对象和一个`Scanner`对象，分别用于读取文件内容和逐行扫描文件内容。在创建`Scanner`对象时，我们指定了字符编码为UTF-8。

然后，我们使用一个`while`循环来逐行读取文件内容。在循环中，我们调用`Scanner`对象的`hasNextLine()`方法来检查是否还有下一行内容可读，如果有，则调用`nextLine()`方法读取该行内容，并进行相应的处理（如打印到控制台）。

在读取文件的过程中，我们需要处理可能出现的`IOException`异常。为此，我们使用`try-catch`语句块来捕获并处理异常。如果发生异常，我们将使用日志记录器记录错误信息。

最后，在`finally`语句块中，我们关闭`FileInputStream`对象和`Scanner`对象，以释放系统资源。

综上所述，通过采用流式读取的方式，我们可以逐行或逐块地读取大型文件，从而有效减少内存使用、提高性能，并避免内存溢出错误的发生。