读取超过内存大小的文件的解决办法

问题

现在考虑有一个jsonline 格式的文件file.txt 大小约为10K，之前处理文件的代码如下所示

def get_lines():
    l = []
    with open('file.txt', 'rb') as f:
        for eachline in f:
            l.append(eachline)
    return l


if __name__ == '__main__':
    for e in get_lines():
        process(e)   # 处理每一行数据

现在要处理一个大小为10G 的文件，但是内存只有4G，如果在只修改get_lines 函数而其他代码保持不变的情况下，应该如何实现？需要考虑的问题都有哪些？

需要考虑的问题：

• 文件大小超过内存大小，需要分批读取
• 需要记录每次读取结束位置，以便下次读取

解决办法

使用yield将get_lines变成一个生成器函数，由于生成器只有在需要的时候才取值，所以不会造成内存占用过高，生成器的另一个特性是能够保存状态，因而可以很好地解决上述两个问题

def get_lines():
    l = []
    with open('file.txt', 'rb') as f:
        data = f.readlines(10000)
        l.append(data)
    yield l

补充：如果不限制只修改get_lines函数，对于大文件，在Linux下我们还可以通过split方法将大文件切割成很多小文件，然后分别读取这些小文件。

转载于:https://www.cnblogs.com/zzliu/p/10651297.html