我有一个250 MB的CSV文件,需要读取约7000行和约9000列。每一行代表一个图像,每一列代表一个像素(灰度值0-255)
我从一个简单的np.loadtxt("data/training_nohead.csv",delimiter=",")开始,但是这给了我一个内存错误。我觉得这很奇怪,因为我运行的是64位Python,安装了8个gig的内存,它只使用了大约512mb就死掉了。
此后,我尝试了其他几种策略,包括:import fileinput并一次读取一行,将它们追加到数组中
np.fromstring读取整个文件后
np.genfromtext
手动解析文件(因为所有数据都是整数,所以编写代码相当容易)
每种方法都给了我同样的结果。内存大约512MB。不知道512MB是否有什么特别之处,我创建了一个简单的测试程序,它填满了内存,直到python崩溃:str = " " * 511000000 # Start at 511 MB
while 1:
str = str + " " * 1000 # Add 1 KB at a time
直到一场演出才崩溃。为了好玩,我还试过:str = " " * 2048000000(填充2个gigs)-这一次跑得很顺利。装满了公羊,从不抱怨。所以问题不在于我能分配的RAM总量,而在于我能分配多少次内存。。。
我完全照抄了答案中的代码:def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float):
def iter_func():
with open(filename, 'r') as infile:
for _ in range(skiprows):
next(infile)
for line in infile:
line = line.rstrip().split(delimiter)
for item in line:
yield dtype(item)
iter_loadtxt.rowlength = len(line)
data = np.fromiter(iter_func(), dtype=dtype)
data = data.reshape((-1, iter_loadtxt.rowlength))
return data
这次调用iter_loadtxt("data/training_nohead.csv")给出了一个稍微不同的错误:MemoryError: cannot allocate array memory
当我运行Python2.7时,这不是我的问题。任何帮助都将不胜感激。