python进程池win出错_解决windows下python3使用multiprocessing.Pool出现的问题

例如：

from multiprocessing import Pool

def f(x):

return x*x

pool = Pool(processes=4)

r=pool.map(f, range(100))

pool.close()

pool.join()

在spyder里运行直接没反应；在shell窗口里，直接报错，如下：

Process SpawnPoolWorker-15:

Traceback (most recent call last):

File "C:\Anaconda3\lib\multiprocessing\process.py", line 254, in _bootstr

self.run()

File "C:\Anaconda3\lib\multiprocessing\process.py", line 93, in run

self._target(*self._args, **self._kwargs)

File "C:\Anaconda3\lib\multiprocessing\pool.py", line 108, in worker

task = get()

File "C:\Anaconda3\lib\multiprocessing\queues.py", line 357, in get

return ForkingPickler.loads(res)

AttributeError: Can't get attribute 'f' on

解决：

Windows下面的multiprocessing跟Linux下面略有不同，Linux下面基于fork，fork之后所有的本地变量都复制一份，因此可以使用任意的全局变量；在Windows下面，多进程是通过启动新进程完成的，所有的全局变量都是重新初始化的，在运行过程中动态生成、修改过的全局变量是不能使用的。

multiprocessing内部使用pickling传递map的参数到不同的进程，当传递一个函数或类时，pickling将函数或者类用所在模块+函数/类名的方式表示，如果对端的Python进程无法在对应的模块中找到相应的函数或者类，就会出错。

当你在Interactive Console当中创建函数的时候，这个函数是动态添加到__main__模块中的，在重新启动的新进程当中不存在，所以会出错。

当不在Console中，而是在独立Python文件中运行时，你会遇到另一个问题：由于你下面调用multiprocessing的代码没有保护，在新进程加载这个模块的时候会重新执行这段代码，创建出新的multiprocessing池，无限调用下去。

解决这个问题的方法是永远把实际执行功能的代码加入到带保护的区域中：if __name__ == '__mian__':

补充知识：multiprocessing Pool的异常处理问题

multiprocessing.Pool开发多进程程序时，在某个子进程执行函数使用了mysql-python连接数据库，

由于程序设计问题，没有捕获到所有异常，导致某个异常错误直接抛到Pool中，导致整个Pool挂了，其异常错误如下所示：

Exception in thread Threa