[Python]re+mmap实现大文件的正则匹配

一、需求

      在Python中，要将正则表达式应用于匹配整个文件，但又不想将整个文件内容全部读入内存（特别是对于大文件而言，更是如此）。

二、解决方法

      使用re模块进行正则匹配，使用mmap模块进行文件的内存映射。

三、举例

    （来源于"Stack Overflow" -- How do I re.search or re.match on a whole file without reading it all into memory?）

      You can use mmap to map the file to memory. The file contents can then be accessed like a normal string:

import re, mmap

with open('/var/log/error.log', 'r+') as f:
  data = mmap.mmap(f.fileno(), 0)
  mo = re.search('error: (.*)', data)
  if mo:
    print "found error", mo.group(1)

      This also works for big files, the file content is internally loaded from disk as needed.

四、参考

      re模块和mmap模块的详细介绍请参见Python帮助文档。

转载于:https://www.cnblogs.com/russellluo/archive/2011/10/12/2209520.html