Python对二进制文件做内存映射,高效优雅地对内容随机访问

本文介绍了如何使用Python的mmap模块对二进制文件进行内存映射,实现类似数组的高效读写操作。通过内存映射,可以避免频繁的seek()、read()和write()调用,提高文件访问速度。同时,内存映射不会将整个文件加载到内存,而是按需加载,节省资源。此外,同一文件在不同Python解释器间的内存映射还可以实现数据交换。
摘要由CSDN通过智能技术生成
读写二进制文件还在使用open函数?
各种组合seek()、read()和write()累不累?

使用 mmap 模块实现对文件的内存映射,让我们读写二进制文件像操作数组一样高效优雅。


先给出一个实用函数,用来演示如何打开一个文件并对它进行内存映射操作。

def memory_map(filename, access=mmap.ACCESS_WRITE):
    size = os.path.getsize(filename)
    fd = os.open(filename, os.O_RDWR)
    return mmap.mmap(fd, size, access=access)

要使用这个函数,需要先准备一个已经创建好的文件并为之填充一些数据。

>>> size = 1000000
>>> with open('data','wb') as f:
        f.seek(size-1)
        f.write(b'\x00')

接着我们可以使用memory_map()函数对文件内容做内存映射,它返回的mmap对象可以让我们像操作数组一样读写二进制文件!

>>> m = memory_map('data')
>>> len(m)
1000000
>>> m[:10]
b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
>>> m[0]
0
>>> m[0:11]=b'Hel
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值