python 输出文件总行数_如何使用python计算文本文件中的总行数

Michael Baco..

20

这个链接(如何在Python中廉价地获得行数？)有很多潜在的解决方案,但它们都忽略了一种方法,使运行速度更快,即使用无缓冲(原始)接口,使用bytearrays,并进行自己的缓冲.

使用修改版本的计时工具,我相信以下代码比任何提供的解决方案更快(并且更加pythonic):

def _make_gen(reader):

b = reader(1024 * 1024)

while b:

yield b

b = reader(1024*1024)

def rawpycount(filename):

f = open(filename, 'rb')

f_gen = _make_gen(f.raw.read)

return sum( buf.count(b'\n') for buf in f_gen )

这是我的时间:

rawpycount 0.0048 0.0046 1.00

bufcount 0.0074 0.0066 1.43

wccount 0.01 0.01 2.17

itercount 0.014 0.014 3.04

opcount 0.021 0.02 4.43

kylecount 0.023 0.021 4.58

simplecount 0.022 0.022 4.81

mapcount 0.038 0.032 6.82

我会把它发布在那里,但我是一个相对较新的用户来堆叠交换,并没有必要的吗哪.

编辑:

这可以使用itertools在线生成器表达式完全完成,但它看起来非常奇怪:

from itertools import (takewhile,repeat)

def rawbigcount(filename):

f = open(filename, 'rb')

bufgen = takewhile(lambda x: x, (f.raw.read(1024*1024) for _ in repeat(None)))

return sum( buf.count(b'\n') for buf in bufgen if buf )

谢谢!这个itertool实现速度非常快,让我在读取一个非常大的文件时给出一定的完成百分比. (3认同)