用python读取txt文件、并计算数据的总合和平均值_Python,读取许多文件并合并结果...

我可能会问一个非常基本的问题,但是我真的不知道如何在python中创建一个简单的并行应用程序.

我正在具有16个内核的计算机上运行脚本,我想高效地使用它们.我要读取16个大文件,我希望每个CPU读取一个文件,然后合并结果.

在这里,我举一个简单的例子,说明我想做什么：

parameter1_glob=[]

parameter2_glob[]

do cpu in arange(0,16):

parameter1,parameter2=loadtxt('file'+str(cpu)+'.dat',unpack=True)

parameter1_glob.append(parameter1)

parameter2_glob.append(parameter2)

我认为多处理模块可能会有所帮助,但我不明白如何将其应用于我想做的事情.

解决方法:

您要逐行合并吗？有时,协程对于I / O绑定的应用程序比经典的多任务处理更有趣.您可以链接生成器和协程以进行各种路由,合并和广播.惊叹于这个nice presentation by David Beazley.

您可以使用协程作为接收器(未经测试,请参阅dabeaz示例)：

# A sink that just prints the lines

@coroutine

def printer():

while True:

line = (yield)

print line,

sources = [

open('file1'),

open('file2'),

open('file3'),