问题:
尝试使用python自带的multiprocessing模块调用torch模型使用cuda加快预测速度,报错RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the ‘spawn’ start method
原因:
在Python3中使用 spawn
或 forkseverver
启动方法才支持在进程之间共享CUDA张量。而multiprocessing
是使用 fork
创建子进程,不被 CUDA 运行时所支持。
fork和spawn是构建子进程的不同方式:
fork | spawn |
---|---|
分叉 | 产卵 |
继承 | 非继承 |
从头构建一个子进程,父进程的数据拷贝到子进程的空间中,拥有自己的Python解释器 | |
变量具有与父进程中相同的id | |
N | 在每个子进程开始时导入模块 |
子进程获取在 name == main 块中定义的变量 | N |
解决方法:
if __name__=='__main__':
torch.multiprocessing.set_start_method('spawn')