多线程读取重复数据入库java_Java 多线程并发运用：解析单个大文件入库

背景

上周在博客园看到一篇名为《多线程并发解析单个大文件，1800 万数据 8 线程 5 分钟入库 》的文章，虽然内容全是代码，但全文分析下来还是有所收获的，文中用递归拆分大文件，交由多线程解析的思路值得细究。

“ 如何快速对 1GB 级别的 CSV 文件进行解析并入库？” 这是个不错的话题，记得以前为了查看一个大日志文件，专门下载了 Logviewer 软件才勉强能看，普通文件编辑软件都没办法查看的文件，怎么能高效解析呢？

受此文启发，这里来探究下这个问题。

普通 IO 读取大文件存在的问题

1、编写一个生成指定大小的文件的工具类 BigFileGenerator ，运行它得到一个 2G 的 CSV 文件，文件中的每一行代表一条 web 请求访问信息，结果发现 Java 写文件还是挺快的，运行结果：

total line:22808227

cost :46(s)

2、创建一个工具类 BigFileReader ，编写一个使用 FileInputStream 、按块读、每次读取 64MB 数据的方法 readByBlock ，只读不处理，总耗时 8.6 分钟：

3、编写一个使用 BufferedReader 逐行读取的方法 readByLine，只读数据、不解析，操作总耗时十分半：

4、编写一个使用 BufferedReader 逐行读取、并解析入库的方法 readByLineAndParse，使