Windows上的Python多进程

闲来道吾

于 2021-06-26 15:53:24 发布

阅读量1.9k

点赞数 1

文章标签： python 多线程 gpu windows

本文链接：https://blog.csdn.net/qq_43051923/article/details/118250484

版权

在Windows上使用Python的multiprocessing模块时，由于Windows进程启动方式为Spawn，不同于Linux的Fork，需要额外注意避免启动异常。在Jupyter Notebook中，`if name == "main"`也不能确保多进程正常运行，因为在Interactive模式下，子进程无法找到执行函数。此外，Python多进程与GPU编程结合时，由于GPU数据不可序列化，需确保传递的是CPU变量并在子进程中加载到GPU。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python Multiprocessing on Windows

因为众所周知的GIL(全局解释器锁)，在Python上实现真正的并发只能通过python multiprocessing。但是在Windows上，运用python multiprocessing并没有在Linux那么简单。

`if name == "main":`

也许大家有些在Linux跑的很好的多进程的程序，在Windows上一跑就会经常遇到这些错误的信息

“An attempt has been made to start a new process before the current process has finished its bootstrapping phase”

根本原因在与Windows的进程启动的方式和Linux是不一样的。
Windows的进程启动方式是Spawn，Linux的缺省的启动方式是Fork。简单的说，Fork会复制父进程的所用东西，而Spawn不会。对于Python而言，Spawn会在进程中生成一个新的Python解释器，并重新加载各个module.