python 多进程_python 多进程map方法应用

当做到计算密集型任务时，往往都会想到用多核cpu的优势，对数据进行并行处理。虽然能力和GPU没法比，但是在不重写实验程序的前提下，用python下的multiprocess模块可以很方便的实现多进程并行计算。

multiprocess有很多种实现方法，可以方便地控制进行的启停，同步等，具体不在这里赘述，很多书籍和技术贴都有，这里只贴出我的一个demo简单说明如何调用map函数对任务进行分解执行。

from multiprocessing import Pool

x = 1
y = 2
z = 0
k = 0

def add(a,b,c):
    c = a+b
    print(id(c))
    k = [c]
    print(k, id(k))
    return c

if __name__ == '__main__':
    tries = 3
    p = Pool(tries)
    result = p.starmap(add, zip([x+i for i in range(tries)],[y]*tries, [z]*tries))
    print(result,id(k))
    print('-----')
    print(add(x,y,z))

执行结果：

4297546624
[3] 4324646088
4297546656
[4] 4326853704
4297546688
[5] 4326854216
[3, 4, 5] 4297546528
-----
4297546624
[3] 4326242824
3

可以看到的是：

1. 用starmap函数和zip来进行多参数的传递。
2. 启用几个任务就需要设置几组参数，并且以列表形式传递。
3. 可以看到定义的参数c和k 在计算过程中传入各自进程后都形成了新的对象，主程序中的对象不受影响。