python读取超大文件 linecache_python计算文件的行数和读取某一行内容的方法

本节主要内容：

学习python计算文件的行数、读取文件内容的方法。

一、计算文件的行数

1，简单方法

把文件读入一个大的列表中,然后统计列表的长度。

如果文件的路径是以参数的形式filepath传递的，那么只用一行代码即可:

count = len(open(filepath,'rU').readlines())

如果是非常大的文件，上面的方法可能很慢，甚至失效。

此时,可以使用循环来处理: 代码示例:

count = -1

for count, line in enumerate(open(thefilepath, 'rU')):

pass

count += 1

另外一种处理大文件比较快的方法是：

统计文件中换行符的个数'\n  '(或者包含'\n'的字串,如在windows系统中): 代码示例:

count = 0

thefile = open(thefilepath, 'rb')

while True:

buffer = thefile.read(8192*1024)

if not buffer:

break

count += buffer.count('\n')

thefile.close( )

参数'rb'是必须的,否则在windows系统上,上面的代码会非常慢.

linecache是专门支持读取大文件，而且支持行式读取的函数库。

linecache预先把文件读入缓存起来，后面如果访问该文件的话，就不再从硬盘读取。

二、读取文件某一行的内容(测试过1G大小的文件，效率还可以) 代码示例:

import linecache

count = linecache.getline(filename,linenum)

三、用linecache读取文件内容(测试过1G大小的文件，效率还可以)

str = linecache.getlines(filename)

str为列表形式，每一行为列表中的一个元素