python读取大文件内存不够_大型CSV文件（numpy）上的Python内存不足

正如其他人所提到的，对于一个很大的文件，最好不进行迭代。

但是，出于各种原因，您通常确实希望将整个内容存储在内存中。

genfromtxt效率要低得多loadtxt（尽管它可以处理丢失的数据，而效率更高，但loadtxt“精益求精”，这就是两个函数共存的原因）。

如果您的数据非常规则（例如，所有相同类型的简单分隔行），也可以使用进行改进numpy.fromiter。

如果您有足够的内存，请考虑使用np.loadtxt('yourfile.txt', delimiter=',')（您可能还需要指定skiprows文件上是否有标头。）

作为快速比较，loadtxt在峰值使用情况下，使用〜900MB的RAM 加载约500MB的文本文件，而使用〜2.5GB的加载相同的文件genfromtxt。

Loadtxt 加载约500MB ASCII文件时numpy.loadtxt的内存和CPU使用情况

Genfromtxt 加载约500MB ASCII文件时numpy.genfromtxt的内存和CPU使用率

或者，考虑类似以下的内容。它仅适用于非常简单的常规数据，但速度非常快。（loadtxt并ge