Python读取大文件解决方案

•    背景

用Python读取3GB文件的时候，用普通方式读取报错MemoryError，说明该无文件无法被装载在内存中发生溢出了。

read和readlines都是将整个文件加入到内存中，文件较大时，会引发MemoryError

• 逐行读取

with open('filename', 'r', encoding = 'utf-8') as f:
    while True:
        line = f.readline()  # 逐行读取
        if not line:  # 直到EOF，返回空字符串，则终止循环
            break
        print(line)

• 指定长度读取

    while True:
        data = f.read(1024)  # 每次读取指定的长度
        if not data:
            break
        print(data)

• 自动管理

with open('filename', 'r', encoding = 'utf-8') as f:
    for line in f:
        do_something(line)

写在文章后：

with：语句句柄负责打开和关闭文件（包括在内部块中引发异常时）
for line in f：将文件对象 f 视为一个可迭代的数据类型，会自动使用 IO 缓存和内存管理，这样再也不必担心大文件了。。。哈哈