python mmap_为什么Python的mmap不适用于大文件？

[编辑:此问题仅适用于32位系统.如果你的计算机,你的操作系统和你的python实现是64位的,那么mmap-ing巨大的文件可以正常工作并且非常高效.

我正在编写一个模块,其中包括允许按位读取文件访问.这些文件可能很大(数百GB),所以我编写了一个简单的类,让我像处理字符串一样处理文件并隐藏所有的搜索和阅读.

当我写我的包装类时,我不知道mmap模块.在阅读mmap的文档时,我认为"很棒 - 这正是我所需要的,我将取出我的代码并用mmap替换它.它可能效率更高,删除代码总是好的."

问题是mmap不适用于大文件!这对我来说非常令人惊讶,因为我认为它可能是最明显的应用程序.如果文件超过几千兆字节,那么我得到一个EnvironmentError: [Errno 12] Cannot allocate memory.这只发生在32位Python构建中,所以它似乎耗尽了地址空间,但我找不到任何关于此的文档.

我的代码就是

f = open('somelargefile', 'rb')

map = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)

所以我的问题是我错过了一些明显的东西吗？有没有办法让mmap可以在大文件上移植,或者我应该回到我天真的文件包装器？

更新:似乎有一种感觉,Python mmap应该具有与POSIX mmap相同的限制.为了更好地表达我的挫败感,这是一个简单的类,它具有mmap的一小部分功能.

import os

class Mmap(object):

def __init__(self, f):

"""Initialise with a file object."""

self.source = f

def __getitem__(self, key):

try:

# A slice

self.source.seek(key.start, os.SEEK_SET)

return self.source.read(key.stop - key.start)

except AttributeError:

# single element

self.source.seek(key, os.SEEK_SET)

return self.source.read(1)

它是只读的,并没有做任何花哨的事情,但我可以像使用mmap一样:

map2 = Mmap(f)

print map2[0:10]

print map2[10000000000:10000000010]

除了文件大小没有限制.真的不太难......