python数组内存错误_Python MemoryError:无法分配数组内存

我有一个250 MB的CSV文件，需要读取约7000行和约9000列。每一行代表一个图像，每一列代表一个像素(灰度值0-255)

我从一个简单的np.loadtxt("data/training_nohead.csv",delimiter=",")开始，但是这给了我一个内存错误。我觉得这很奇怪，因为我运行的是64位Python，安装了8个gig的内存，它只使用了大约512mb就死掉了。

此后，我尝试了其他几种策略，包括：import fileinput并一次读取一行，将它们追加到数组中

np.fromstring读取整个文件后

np.genfromtext

手动解析文件(因为所有数据都是整数，所以编写代码相当容易)

每种方法都给了我同样的结果。内存大约512MB。不知道512MB是否有什么特别之处，我创建了一个简单的测试程序，它填满了内存，直到python崩溃：str = " " * 511000000 # Start at 511 MB

while 1:

str = str + " " * 1000 # Add 1 KB at a time

直到一场演出才崩溃。为了好玩，我还试过：str = " " * 2048000000(填充2个gigs)-这一次跑得很顺利。装满了公羊，从不抱怨。所以问题不在于我能分配的RAM总量，而在于我能分配多少次内存。。。

我完全照抄了答案中的代码：def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float):

def iter_func():

with open(filename, 'r') as infile:

for _ in range(skiprows):

next(infile)

for line in infile:

line = line.rstrip().split(delimiter)

for item in line:

yield dtype(item)

iter_loadtxt.rowlength = len(line)

data = np.fromiter(iter_func(), dtype=dtype)

data = data.reshape((-1, iter_loadtxt.rowlength))

return data

这次调用iter_loadtxt("data/training_nohead.csv")给出了一个稍微不同的错误：MemoryError: cannot allocate array memory

当我运行Python2.7时，这不是我的问题。任何帮助都将不胜感激。