python进程池速度,多进程处理速度慢,进程多

我有一个用python编写的程序,它读取4个输入文本文件并将它们全部写入一个名为ListOutput的列表中,这是我程序中使用的4个进程之间的共享内存(我使用了4个进程,所以我的程序运行得更快!)在

我还有一个名为processedFiles的共享内存变量,该变量存储任何进程已经读取的输入文件的名称,因此当前进程不会再次读取它们(我使用了lock,因此进程不会同时检查processedFiles中是否存在文件)。在

当我只使用一个进程时,我的程序运行得更快(7毫秒)-我的计算机有8个核心。为什么会这样?在import glob

from multiprocessing import Process, Manager,Lock

import timeit

import os

os.chdir("files")

# Define a function for the Processes

def print_content(ProcessName,processedFiles,ListOutput,lock):

for file in glob.glob("*.txt"):

newfile=0

lock.acquire()

print "\n Current Process:",ProcessName

if file not in processedFiles:

print "\n", file, " not in ", processedFiles," for ",ProcessName

processedFiles.append(file)

newfile=1 #it is a new file

lock.release()

#if it is a new file

if newfile==1:

f = open(file,"r")

lines = f.readlines()

ListOutput.append(lines)

f.close()

#print "%s: %s" % ( ProcessName, time.ctime(time.time()) )

# Create processes as follows

try:

manager = Manager()

processedFiles = manager.list()

ListOutput = manager.list()

start = timeit.default_timer()

lock=Lock()

p1 = Process(target=print_content, args=("Procees-1",processedFiles,ListOutput,lock))

p2 = Process(target=print_content, args=("Process-2",processedFiles,ListOutput,lock))

p3 = Process(target=print_content, args=("Process-3",processedFiles,ListOutput,lock))

p4 = Process(target=print_content, args=("Process-4",processedFiles,ListOutput,lock))

p1.start()

p2.start()

p3.start()

p4.start()

p1.join()

p2.join()

p3.join()

p4.join()

print "ListOutput",ListOutput

stop = timeit.default_timer()

print stop - start

except:

print "Error: unable to start process"

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值