java多线程读取文件_Java多线程读取大文件

转载：http://www.cnblogs.com/metoy/p/4470418.html

前言

今天是五一假期第一天，按理应该是快乐玩耍的日子，但是作为一个北漂到京师的开发人员，实在难想出去那玩耍。好玩的地方比较远，近处又感觉没意思。于是乎，闲着写篇文章，总结下昨天写的程序吧。

昨天下午朋友跟我聊起，他说有个需求，需要把上G的txt文件读取写入到数据库。用普通的io结果自然是OOM了，所以果断用NIO技术。为了提高速度，自然还得用上多线程技术。

接下来就介绍一下实现思路以及相关的知识点。

内容

一、对文件分区

为了充分利用多线程读取，就需要把文件划分成多个区域，供每个线程读取。那么就需要有一个算法来计算出每个线程读取的开始位置和结束位置。那么首先根据配置的线程数和文件的总长度计，算出每个线程平均分配的读取长度。但是有一点，由于文件是纯文本文件，必须按行来处理，如果分割点在某一行中间，那么这一行数据就会被分成两部分，分别由两个线程同时处理，这种情况是不能出现的。所以各个区域的结束点上的字符必须是换行符。第一个区域的开始位置是0，结束位置首先设为(文件长度/线程数)，如果结束点位置不是换行符，就只能加1，直到是换行符位置。第一个区域的结束位置有了，自然我们就能求出第二个区域的开始位置了，同理根据上边算法求出第二个区域的结束位置，然后依次类推第三个、第四个......

上边的算法中，第一个区域的结束位置定了，才能有第二个区域的开始位置，第二个区域的结束位置定了，才能有第三个区域的开始位置，依次这么下去。照这种规律，自然地想到的是用递归来解决。(详情看源码)

二、内存文件映射

简单说一下内存文件映射：

在我的读取大文件的实现中，就是用了Java的内存映射API，这样我们就可以在要读取某个地址时再将内容加载到内存。不需要一下子全部将内容加载进来。

总结

以上就是我主要用到的思路和一些技术点吧。可能存在某些表达不清楚的地方，望大神勿喷^_^

具体实现请参考代码吧，这里是代码的地址(Java读取大文件)