背景
上周在博客园看到一篇名为《多线程并发解析单个大文件,1800 万数据 8 线程 5 分钟入库 》的文章,虽然内容全是代码,但全文分析下来还是有所收获的,文中用递归拆分大文件,交由多线程解析的思路值得细究。
“ 如何快速对 1GB 级别的 CSV 文件进行解析并入库?” 这是个不错的话题,记得以前为了查看一个大日志文件,专门下载了 Logviewer 软件才勉强能看,普通文件编辑软件都没办法查看的文件,怎么能高效解析呢?
受此文启发,这里来探究下这个问题。
普通 IO 读取大文件存在的问题
1、编写一个生成指定大小的文件的工具类 BigFileGenerator ,运行它得到一个 2G 的 CSV 文件,文件中的每一行代表一条 web 请求访问信息,结果发现 Java 写文件还是挺快的,运行结果:
total line:22808227
cost :46(s)
2、创建一个工具类 BigFileReader ,编写一个使用 FileInputStream 、按块读、每次读取 64MB 数据的方法 readByBlock ,只读不处理,总耗时 8.6 分钟:
3、编写一个使用 BufferedReader 逐行读取的方法 readByLine,只读数据、不解析,操作总耗时十分半:
4、编写一个使用 BufferedReader 逐行读取、并解析入库的方法 readByLineAndParse,使