1. Pool()实例化必须在 main函数中
原因:保护进程和子进程不会陷入pickle死循环
from multiprocessing import Pool, Manager
if __name__ == '__main__':
po = Pool(10)
2. 丢进pool执行的函数,必须在此前定义好,并且需要在最外层定义。
原因:1.pool在实例化时就将函数进行pickle(序列化),因此必须在pool实例化之前,完成
函数的定义
2. pickle的原理是,将函数名序列化,然后传给进程,进程中根据函数名进行
import。因此函数必须写在最外层,才能正常import。
正确实例(函数在pool实例化之前定义好):
from multiprocessing import Pool, Manager
class Test:
def pop_com_list(self, com_list):
l0 = com_list.pop(0)
print(l0)
if __name__ == '__main__':
test = Test()
common_list = Manager().list([])
po = Pool(10)
for i in range(10):
common_list.append(i)
for i in range(len(common_list)):
po.apply_async(test.pop_com_list, (common_list,))
po.close()
po.join()
错误实例(函数定义在main中而非最外层):
from multiprocessing import Pool, Manager
if __name__ == '__main__':
class Test:
def pop_com_list(self, com_list):
l0 = com_list.pop(0)
print(l0)
test = Test()
common_list = Manager().list([])
po = Pool(10)
for i in range(10):
common_list.append(i)
for i in range(len(common_list)):
po.apply_async(test.pop_com_list, (common_list,))
po.close()
po.join()