python fromfile_python-使用np.fromfile的文件大小的最大限制？

是否有np.fromfile()的最大文件大小？我正在尝试读取一个48GB的文件,其中包含约2.1e9个记录(每个记录有5个值).

当我将计数限制为8e7时,它可以工作：

fromfile(filename, dtp, int(8e7))

Out[69]:

array([(1, 244025.0, 1.1666666269302368, 360.1666564941406, 50.0),

(2, 244025.0, 1.1666666269302368, 360.5, 50.0),

(3, 244025.0, 1.1666666269302368, 360.8333435058594, 50.0), ...,

(255138, 244131.0, 1128.9346923828125, 461.38494873046875, 49.5),

(255139, 244131.0, 1143.77783203125, 473.2532958984375, 49.5),

(255140, 244131.0, 1150.4803466796875, 464.6799011230469, 49.5)],

dtype=[('ntrac', '

但是,当计数设置为9e7时,所有值都将读取为零：

In [70]: fromfile(filename, dtp, int(9e7))

Out[70]:

array([(0, 0.0, 0.0, 0.0, 0.0), (0, 0.0, 0.0, 0.0, 0.0),

(0, 0.0, 0.0, 0.0, 0.0), ..., (0, 0.0, 0.0, 0.0, 0.0),

(0, 0.0, 0.0, 0.0, 0.0), (0, 0.0, 0.0, 0.0, 0.0)],

dtype=[('ntrac', '

解决方法:

看来确实是Mac OS X的错误.

标签：scipy,python,numpy