Java极速读取超大文件(附源代码)

Java读取超大文件的几种方法

在这里必须说明一下，此处所说的超大文件，是指至少2G以上，可能是10G或者更大，文件内容是单行可处理的类型，通常为csv文件。好了，前提已说明，让我们快速进入主题，样例代码可能如下：

传统Block IO读入

超大文件读取通常面临最大的问题是什么呢？不用想，必须内存了，譬如10个G的文件，你直接加载到内存试试。那么既然有内存有限制，那必须要考虑使用带缓冲区的方式进行读入，处理方式有多种，进摘抄我使用到的样例代码如下

@Slf4j
public class TestRead {

  @Test
  public void testRead() throws IOException {
    String readFile = "/Users/renhongqiang/Downloads/work-doc/2000W/test.csv";
    BufferedReader bufferedReader = null;
    bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream(new File(readFile))));
    String line;
    int counter = 0;
    while (!StringUtils.isEmpty(line = bufferedReader.readLine())) {
      log.info("this is {} line",counter++);
    }
  }
}

使用NIO零拷贝读

关于零拷贝，概念部分，请大家自行百度，我这给出的是使用NIO零拷贝读取超大文件的实现思路，如下图：

• 简单来说主要分为以下3步
  • 大文件进行分割切片（此处切片只是打上标记）
  • 对于分割后的slice，使用线程池进行处理
  • 收集处理结果统计

部分核心代码如下：

 public void start(){
        long everySize = this.fileLength/this.threadPoolSize;
        try {
            calculateStartEnd(0, everySize);
        } catch (IOException e) {
            e.printStackTrace();
            return;
        }

        final long startTime = System.currentTimeMillis();
        cyclicBarrier = new CyclicBarrier(startEndPairs.size(), () -> {
            System.out.println("use time: "+(System.currentTimeMillis()-startTime));
            System.out.println("all line: "+counter.get());
            shutdown();
        });
        for(StartEndPair pair:startEndPairs){
            System.out.println("分配分片："+pair);
            this.executorService.execute(new SliceReaderTask(pair));
        }
    }
    public void run() {
            try {
                MappedByteBuffer mapBuffer = rAccessFile.getChannel().map(FileChannel.MapMode.READ_ONLY, start, this.sliceSize);
                ByteArrayOutputStream bos = new ByteArrayOutputStream();
                for (int offset = 0; offset < sliceSize; offset += bufferSize) {
                    int readLength;
                    if (offset + bufferSize <= sliceSize) {
                        readLength = bufferSize;
                    } else {
                        readLength = (int) (sliceSize - offset);
                    }
                    mapBuffer.get(readBuff, 0, readLength);
                    for (int i = 0; i < readLength; i++) {
                        byte tmp = readBuff[i];
                        //碰到换行符
                        if (tmp == '\n' || tmp == '\r') {
                            handle(bos.toByteArray());
                            bos.reset();
                        } else {
                            bos.write(tmp);
                        }
                    }
                }
                if (bos.size() > 0) {
                    handle(bos.toByteArray());
                }
                cyclicBarrier.await();//测试性能用
            } catch (Exception e) {
                e.printStackTrace();
            }
     }

实际执行效果

是骡子是?，需要拉出来遛遛，文件大小4.75GB，文件格式csv

使用BufferReader 执行效果

600w+数据，cost=67s

要说明的是，该文件其实是有3000w+数据的，此处只读了600w+是因为读到此处时，下一行为空，下下行才有数据，判断在空的时候终止了

使用改造后的NIO零拷贝的效果

3000w+数据，cost=86s

总结

使用第一种处理速度也不算低，1min读取了600w数据，但显然，第二种，我只想说，woc，竟然这么快，????，1分半中读取了3000w+数据，读取速率大约33w/s！！！so, 大家会用脚投票的吧

注意事项

• 使用第一种方式时，注意处理异常的情况，一旦处理遇到异常，直接就挂了，这种方式是阻塞顺序读的方式，可根据文件内容本身的顺序进行处理
• 使用第二种方式时，主要不要使单个切片过大，不然会报错(单个切片size不要大于Integer.MAX_VALUE)

Exception in thread "main" java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
    at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:868)

FAQ

大家有问题可以在此处反馈，不保证会处理，但如果看到觉得有意思，一时兴起会处理一波

最重要的事

最重要的事，那必须是源代码了，龟派气功=>=>=>=> 超大文件极速读取工具
使用方式已经在README里说明，欢迎感兴趣的兄弟star
（代码是从某位兄弟的基础上改来的，我没有保存该兄弟的博客地址，不然我会附上引用地址的。再次说明，并非自己原创，介意的不要star哦）