python Multiprocessing Pool 应用

1.pool创建多个进程

from multiprocessing import Pool
import time
def test(p):
       print(p)
       time.sleep(3)
if __name__=="__main__":
    pool = Pool(processes=2)
    for i in range(10):
        # pool.apply(test, args=(i,)) # 同步调用，每次只取一个
        pool.apply_async(test, args=(i,)) # 异步调用每次把池子里的进程全部取出
    pool.close() # 在使用apply_async时必须先close,否则pool不知道如何调用
    pool.join() # 如果没有join则子进程会立刻结束

2.pool接受进程返回结果

只有_async方法有返回结果

from multiprocessing import Pool
import time
def test(p):
    time.sleep(1)
    return p*p
if __name__=="__main__":
    res_lst = []
    pool = Pool(processes=2)
    for i in range(10):
        res = pool.apply_async(test, args=(i,))
        res_lst.append(res)
    pool.close()
    pool.join()
    [print(result.get()) for result in res_lst]

3.回调函数

进程池中一个进程处理完任务之后，这进程可以调用一个函数去处理该进程返回的结果，这个函数就是回调函数。

from multiprocessing import Pool

def func(info):
    print("回调加工subp方法的返回结果:"+str(info/10))

def subp(i):
    return i * i

if __name__ == '__main__':
    pool = Pool()
    for i in range(7):
        res = pool.apply_async(subp, args=(i, ), callback=func) # subp的返回值作为func的参数传递
    pool.close()
    pool.join()

4.其他

map_async和apply_async区别是写法不同

from multiprocessing import Pool
import time
def test(i):
    print(i)
    time.sleep(2)
if  __name__ == "__main__":
    lists = [1, 2, 3]
    pool = Pool(processes=2)
    # pool.map(test, lists)
    pool.map_async(test, lists)
    pool.close()
    pool.join()

参考：
https://blog.51cto.com/ljbaby/2446647