如何利用Java高效读取大文件

本文探讨了使用Guava和Apache Commons IO读取大文件时可能导致的内存问题,指出一次性加载所有行到内存将消耗大量资源。为解决此问题,介绍了使用Java.util.Scanner和Apache Commons IO的LineIterator逐行读取文件的方法,这两种方法在处理大文件时显著降低了内存占用,约为150MB。
摘要由CSDN通过智能技术生成

在内存中读取
读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法:

Files.readLines(new File(path), Charsets.UTF_8);
FileUtils.readLines(new File(path));

这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。
读取一个大约1G的文件

public void readFiles() throws IOException {
    String path = "...";
    Files.readLines(new File(path), Charsets.UTF_8);
}

这种方式刚开始只占用了很少量的内存,然而,当文件全部读入内存后,我们可以看到,占用了大量的内存ÿ

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值