Python进阶之-mmap详解

✨前言：

Python中的mmap模块允许你创建一个内存映射的文件，这意味着文件数据直接映射到虚拟内存。这样做的好处包括：提高文件访问速度、可通过修改内存来修改文件、可以像操作普通内存一样操作这块特殊的内存区域。

✨mmap基础

要使用mmap,需要先导入该模块

import mmap

你需要一个文件描述符（可以是一个打开的文件对象的.fileno()方法返回的，也可以是一个现有的文件描述符），使用这个文件描述符，可以创建一个mmap对象：

import mmap

# 打开文件
with open("example.dat", "r+b") as f:
    # 创建内存映射
    mm = mmap.mmap(f.fileno(), 0)
    # 使用mmap对象...
    # 完成后，解除映射
    mm.close()

✨mmap常用方法

1.mmap.read(byte)：读取指定数量的字节。
2.mmap.readline()：读取一行。
3.mmap[:N]或mmap.read(N)：读取前N个字节。
4.mmap.seek(offset)：移动当前位置至指定offset。
5.mmap.tell()：获取当前位置。
6.mmap.write(bytes)：写入字节字符串。
7.mmap.flush()：将更改写回文件中。在某些情况下是必须的，例如，当对文件内容进行更改而想将更改保存至磁盘时。
8.mmap.close()：关闭内存映射文件。

✨举例说明

🌟例1：基础读写

考虑一个文件example.dat，先写入一些数据然后通过内存映射来修改它。

import mmap

with open("example.dat", "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    print("Original:", mm[:].decode())  # 读取内容
    replacement = b"World!"
    original_size = len(mm[:])
    replacement_size = len(replacement) + 6  # +6因为替换起始于第6位

    if replacement_size <= original_size:
        # 此处简单处理，用空格补齐，只为示例
        replacement = replacement.ljust(original_size - 6, b' ')
        mm[6:] = replacement  # 修改内容
        mm.seek(0)  # 移动至文件开头
        print("Modified:", mm[:].decode())  # 再次读取内容
    else:
        print("Replacement string is too long.")

    mm.close()

🌟例2：搜索和替换

如果想在内存映射文件中搜索特定的文本，并且替换它：

import mmap

# 首先，创建/重新创建文件并写入 "Hello World!"
with open("example.dat", "wb") as f:
    f.write(b"Hello World!")

with open("example.dat", "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    start = mm.find(b"World")
    if start != -1:
        mm[start:start+5] = b"debug"
    mm.seek(0)
    print("After replace:", mm[:].decode())   # 正确的输出应该是 "Hello debug!"
    mm.close()

🌟例3 性能对比

创建测试文件

with open("large_file.txt", "wb") as f:
    f.write(b"0" * 1024 * 1024 * 100)  # 创建一个100MB的文件

普通文件读取测试

import time
start_time = time.time()
with open("large_file.txt", "rb") as f:
    content = f.read(10)  # 同样只读取前10个字节作为示例
elapsed_time = round(time.time() - start_time, 6)

print("普通读取耗时：", elapsed_time) # 普通读取耗时： 0.011448

mmap 读取测试

start_time = time.time()
with open("large_file.txt", "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    content = mm[:10]  # 假设我们只读取前10个字节作为示例
    mm.close()
elapsed_time = round(time.time() - start_time, 6)

print("mmap读取耗时：", elapsed_time)  # mmap读取耗时： 0.008091

⚠️ 注意： 由于mmap修改的是内存中的数据，文件内容也会同步更改，实现对文件的快速读写操作。一定要注意的是，在使用内存映射文件时，尤其是在修改文件内容时，应保证替换内容的字节长度不变，否则可能会导致数据错乱或者程序崩溃。