python快速读写一个大文件-Python多进程分块读取超大文件的方法

本文实例讲述了Python多进程分块读取超大文件的方法。分享给大家供大家参考，具体如下：

读取超大的文本文件，使用多进程分块读取，将每一块单独输出成文件

# -*- coding: GBK -*-

import urlparse

import datetime

import os

from multiprocessing import Process,Queue,Array,RLock

"""

多进程分块读取文件

"""

WORKERS = 4

BLOCKSIZE = 100000000

FILE_SIZE = 0

def getFilesize(file):

"""

获取要读取文件的大小

"""

global FILE_SIZE

fstream = open(file,"r")

fstream.seek(0,os.SEEK_END)

FILE_SIZE = fstream.tell()

fstream.close()

def process_found(pid,array,file,rlock):

global FILE_SIZE

global JOB

global PREFIX

"""

进程处理

Args:

pid:进程编号

array:进程间共享队列，用于标记各进程所读的文件块结束位置

file:所读文件名称

各个进程先从array中获取当前最大的值为起始位置startpossition

结束的