python获取文件大小函数_大文件读取的实现-PYTHON

当前一个大文件大小，比当前的机器的内存大，先读取某个文件里的一部分。

文件遍历

因为文件保存了很多字符和行，因此也是循环常见的典型使用案例，最原始的方法可以调用文件对象的read方法，把文件内容一次性加载至字符串对象

file = open('myfile.txt', 'r')

print(file.read())

hello text file

goodbyt text file

Hahahahah

或者for读取这样的文件：

for方法一、

with open(file) as f:

list_of_lines = f.readlines()

或者

for line in open('myfile.txt','r').readlines():

print(line, end='')

for方法二、

f = open(file)

for line in file:

#do something

第一种方法通过readlines方法，会首先一次性把文件载入到行字符串列表中，然后再对这个字符串列表进行迭代；

第二种方法运行的原理则有所不同，他并非一次性将全部的文件内容载入到内存中，而是在迭代的时候，循环到了哪一行才将哪一行读入到内存。这里涉及到一个新的概念—-迭代器（open函数返回的那个就是文件迭代器）。

上面的方式都不适合或者不是最优解。

解决方案

您想要的是逐行读取文件，而忽略除某些行（例如，行[17,34)）以外的所有行。

enumerate遍历文件时，尝试使用跟踪行号。这是一种基于生成器的方法，该方法yield一次只输出一条有趣的行：

def read_only_lines(f, start, finish):

for ii,line in enumerate(f):

if ii>=start and ii

yield line

elif ii>=finish:

return

f = open("big text file.txt", "r")

for line in read_only_lines(f, 17, 34):

print line

此read_only_lines函数基本上是itertools.islice从标准库重新实现的，因此您可以使用它来实现更紧凑的实现：

from itertools import islice

for line in islice(f, 17, 34):

print line

如果要在列表中而不是在生成器中捕获感兴趣的行，只需将它们转换为列表即可：

from itertools import islice

lines_of_interest = list( islice(f, 17, 34) )

do_something_awesome( lines_of_interest )

do_something_else( lines_of_interest )