python高效读取大文件_python 如何读取大文件

一般的读取文件的方法：

with open(file_path, "r") as f:

print f.read()

或者

with open(file_path,"r") as f:

for line in f.readlines():

print line

read()是一次性把文件内容以字符串的方式读到内存，放到一个字符串变量中

readlines() 是一次性读取所有内容，并按行生成一个list

因一次性读取，若文件内容过大，则会将内存爆掉。报错：“MemoryError”

读取大几G的大文件，可以利用生成器 generator

方法一： 将文件切分成小段，每次处理完小段，释放内存

def read_in_block(file_path):

BLOCK_SIZE=1024

with open(file_path,"r") as f:

while True:

block =f.read(BLOCK_SIZE) #每次读取固定长度到内存缓冲区

if block:

yield block

else:

return #如果读取到文件末尾，则退出

for block in read_in_block(file_path):

print block

// 这个方法，速度很快(只有3s)，但有个问题，若满足了1024时，会将正好在1024位置的数据切开，如下

cad1a596-fe14-45c4-b920-8bc0eab38ee6

c6f0c5bf-4359-4a28-9f90-3c4f61b5e12d

3815cd95-2147-4701-8d50-273325140643

c047d057-c33d-4a69-995a-5

29cb5cb04ee

afd9cffb-09f0-4347-bf12-34485969b366

3c145a79-c72c-43db-8e68-02be8046c6b4

虽然每个block都是str, 但无法直接得到每行的id，只能再切分。

方法二 利用open("","")系统自带方法生成的迭代对象

with open(file_path) as f:

for line in f:

print line

for line in f 这种用法是把文件对象f当作迭代对象，系统将自动处理IO缓存和内存管理。

耗时较第1种方法慢一点，要25s。 但每个Line, type都是str, 都是自己需要的一行数据(一行是一个id)。

>>> f = open("dup_file - Copy (2).txt")

>>> type(f)

>>> type(f.read())

>>> f.read()

''

>>>print  f.read()

aac66f36-d2ad-4d94-9804-2220262cc354

c5a1b5ee-32b6-4912-8b90-ece3bd36d1e5

90e6509a-e918-447e-92ee-b853b9b49f15

7b7495d3-1aa5-48b5-a305-ae137d46d605

>>> f.readlines()

[]

>>> type(f.readlines())

>>> print f.readlines()

[]

>>> for i in f.readlines():

... type (i)

... print i

994761db-37fa-4243-9d13-0acd193763dd

993b2806-51fe-412d-8df2-526ea550e889

aac66f36-d2ad-4d94-9804-2220262cc354

>>> type(f.readline())

// // //

>>> f = open("dup_file - Copy (2).txt")

>>> f.readline()

'8957d983-05e2-4a54-a7b3-f1532421c7a7\n'

>>> f.readline()

'ccf30309-2a02-4d09-8ea8-70c3da8de09d\n'

>>> f.readline()

'492ddb07-e0c5-4dda-ae91-8b3700d05a79\n'

>>> f.readline()

'9cee8472-dfc1-49ac-90c3-572f68373934\n'

>>> f.readline()

''

>>> f.readline()

''

// // // 第1次调用f.readline()，没有输出或者操作，后面再也无法循环到

>>> f = open("dup_file - Copy (2).txt")

>>> type(f.readline())

>>> f.readline()

'ccf30309-2a02-4d09-8ea8-70c3da8de09d\n'

>>> f.readline()

'492ddb07-e0c5-4dda-ae91-8b3700d05a79\n'

>>> f.readline()

'9cee8472-dfc1-49ac-90c3-572f68373934\n'

>>> f.readline()

''

>>> f.readline()

// // //  使用文件对象f

>>> f = open("dup_file - Copy (2).txt")

>>> for i in f:

... type(i)

... print i

...

8957d983-05e2-4a54-a7b3-f1532421c7a7

ccf30309-2a02-4d09-8ea8-70c3da8de09d

492ddb07-e0c5-4dda-ae91-8b3700d05a79

9cee8472-dfc1-49ac-90c3-572f68373934

>>> f = open("dup_file - Copy (2).txt")

>>> for i in f.readlines():

... type(i)

... print i

...

8957d983-05e2-4a54-a7b3-f1532421c7a7

ccf30309-2a02-4d09-8ea8-70c3da8de09d

492ddb07-e0c5-4dda-ae91-8b3700d05a79

9cee8472-dfc1-49ac-90c3-572f68373934