python 大文件以行为单位读取方式比对

转自：http://www.cnblogs.com/aicro/p/3371986.html

先前需要做一个使用python读取大文件（大于1G），并逐条存入内存进行处理的工作。做了很多的尝试，最终看到了如下的文章。

http://stackoverflow.com/questions/8009882/how-to-read-large-file-line-by-line-in-python

 

该文章实际上提供了集中读取大文件的方式，先经过测试总结如下

1. for line in fileHandle:

该方式是最快速的。而且python虚拟机在内部帮助我们对buffer进行管理，内存占用量小，且不差错。

 

2. fileinput方式

该方式实际效果较慢，但是也有buffer管理功能

 

3. （自己摸索和尝试的）使用file.read（sizeHint)的方式进行区块读取

该方法是三者中最慢的，而且需要自己去控制内存和选择需要的区域，所以在读到的buffer之后，还需要进行拆分工作，比较麻烦，而且容易出错。最无奈的是，使用下来（我的环境是2.6和2.7），sizeHint作用较小，原来觉得如果sizeHint是1024，则每次在内存中只会驻留1024B的内容，但是实际上不是这样的，在度过一次1024B之后，再次读取1024B的时候，尽管已经对之前的buf进行了del操作，但是该1024B仍然存留于内存中，所以内存越吃越大，最终MemoryError。

 

4. file.readline和file.readlines

和read类似，只适用于小文件。

 

结论：

在使用python进行大文件读取时，应该返璞归真，使用最简单的方式，交给解释器，就管好自己的工作就行了。

 

附，实测数据(这里的数据是我的程序的实际运行情况，在程序中其实读了两个差不多大小的文件，并做了一定逻辑处理，所以绝对值是没有意义的，但是相对比较值很能够说明情况）

1. 大文件（>1.4G)

所使用的方式	size_hint	所使用时间
for i in open(...)	/	103.382492s
fileinput	/	131.525755s
file.read和buffer控制	2亿B	报错：memoryError

 

2. 小文件（西游记的txt，大约1.4M)

 

所使用的方式	size_hint	所使用时间
for i in open(...)	/	2.11s
fileinput	/	4.22s
file.read和buffer控制	2亿B	4.07s

------------------------------------------------------------------------