背景介绍
同学们时常会遇到要处理大文件的情况,现在是大数据时代,有些文件动辄几十个G,我们在处理这样文件的时候一不小心就把内存撑爆了,或者程序被强制kill掉了。
原因分析
原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。
解决方案
没错,就是用iterator,又叫迭代器,实例代码如下。
f = open('data', 'r')
for line in f:
line = line.split(";;")
lines.append(line)
if len(lines) >= 10000:
# consume the lines which have been read
print lines
del lines[:]
if lines:
# consume the lines which have been read
print lines
“for line in f”每次都只会读取一行数据到内存,我们可以设置一个buffer,比如每10000行用list暂存下,处理完了之后再继续读取文件。
这样就实现了一段一段的读取文件内容到内存。是不是很酷!
赶紧试试吧!