python 速度 memmap_python numpy memmap用法及代码示例

NumPy的memmap允许你通过内存映射处理大文件,避免一次性加载到内存。本文介绍了memmap的用法,包括创建、读写、文件模式和偏移量设置等,通过示例展示了如何在Python中使用memmap高效地操作磁盘上的大型数组数据。
摘要由CSDN通过智能技术生成

为存储在磁盘上二进制文件中的阵列创建memory-map。

Memory-mapped文件用于访问磁盘上大文件的小片段,而无需将整个文件读入内存。 NumPy的内存映射是array-like个对象。这与Python的不同mmap模块,该模块使用file-like个对象。

ndarray的该子类与某些操作有一些令人不愉快的交互,因为它不太适合作为子类。使用此子类的替代方法是创建mmap自己创建对象,然后直接使用ndarray .__ new__创建一个ndarray,并传递在‘buffer =’参数中创建的对象。

此类可能在某些时候变成了工厂函数,该函数将视图返回到mmap缓冲区。

删除memmap实例以关闭memmap文件。

参数:filename: : str, file-like object, 或 pathlib.Path instance

用作数组数据缓冲区的文件名或文件对象。

dtype: : data-type, 可选参数

用于解释文件内容的数据类型。默认为uint8。

mode: : {‘r+’, ‘r’, ‘w+’, ‘c’}, 可选参数

在这种模式下打开文件:

‘r’

打开现有文件仅供读取。

‘r+’

打开现有文件进行读写。

‘w+’

创建或覆盖现有文件以进行读写。

‘c’

Copy-on-write:分配会影响内存中的数据,但更改不会保存到磁盘。磁盘上的文件是只读的。

默认值为“ r +”。

offset: : int, 可选参数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值