python文件行数运行结果_python统计文件行数

'(或者包含'\n'的字串,如在windows系统中):

count = 0thefile = open(thefilepath, 'rb')while True:buffer = thefile.read(8192*1024)if not buffer:breakcount += buffer.count('\n')thefile.close( )

参数'rb'是必须的,否则在windows系统上,上面的代码会非常慢.

当 外部系统提供统计行数的方法时,你可以使用它们(通过os.popen),如unix的wc - l.当然,通过自己的程序来完成会更简单,快捷和通用.你可以假设大多数的文本文件都有合理的大小,所以把它们一次读入内存中处理是可行的.对于这样的情 况,len方法返回readlines的大小是最简单的.

加入一个文件的大小大于内存(比如,有好几百M那么大),那个最简单的方法会变得难以忍受的慢,因为操作系统要使用虚拟内存,并不停同过硬盘来换页.也可能出现失败的情况 ,就是虚拟内存不够大.一台有256M内存的机器,当处理一个1G或2G大小的文件的时候,仍然可能出现严重的问题.在这种情况下,使用循环处理是比较好的方式,enumerate保存了函数.

第三种方法的核心思想是统计缓存中回车换行字符的个数.这可能最不容易直接想到的方法,也是最不通用的方法,但它可能是最快的方法.

当然,在大多数情况下,性能并不是最重要的,但如果它是的话,影响性能的部分往往不是我们的直觉告诉我们的地方,所以请千万不要相信自己的直觉, 要考评估和测量来判断.举例说明,对于一个中等大小的unix日志文件,比如一个18M的文本,包含了230,000行:

[situ@tioni nuc]$ wc nuc231581 2312730 18508908 nuc

使用下面的测试文件,bench.py:

import timedef timeo(fun, n=10):start = time.clock( )for i in xrange(n): fun( )stend = time.clock( )thetime = stend-startreturn fun._ _name_ _, thetimeimport osdef linecount_w( ):return int(os.popen('wc -l nuc').read( ).split( )[0])def linecount_1( ):return len(open('nuc').readlines( ))def linecount_2( ):count = -1for count, line in enumerate(open('nuc')): passreturn count+1def linecount_3( ):count = 0thefile = open('nuc', 'rb')while True:buffer = thefile.read(65536)if not buffer: breakcount += buffer.count('\n')return countfor f in linecount_w, linecount_1, linecount_2, linecount_3:print f._ _name_ _, f( )for f in linecount_1, linecount_2, linecount_3:print "%s: %.2f"%timeo(f)

首先我调用所有的方法来读文件,以确保不会发生异常情况(如果发生的话程序会中止),接下来,在函数timo中,我调用每种方法10次,然后看看结果,这是一个比较旧但比较稳定的机器:

[situ@tioni nuc]$ python -O bench.pylinecount_w 231581linecount_1 231581linecount_2 231581linecount_3 231581linecount_1: 4.84linecount_2: 4.54linecount_3: 5.02

可以看出,性能上的差别不是很大,实际上,一般用户不会在意10%左 右的性能差别.另外,最快的方法是用循环处理文件对象,而最慢的方法是统计换行符的个数.在实际中,假如不考虑处理那些好几百M的大文件,我总是会选中第一种最简单的方法.

测量代码的性能是很重要的,Python标准库也提供了timeit来实现这些工作.我建议你使用timeit,而不是像我在本节做的那样,自己写测试代码,我写的代码是好几年前的事情了,现在既然有了timeit,就没有必要再使用它了.

来自：http://blog.sina.com.cn/s/blog_48acdd250100qh93.html