解决CUDA error (3): initialization error (multiprocessing)

最新推荐文章于 2024-07-23 13:49:58 发布
最新推荐文章于 2024-07-23 13:49:58 发布
阅读量5.8k 收藏 3
点赞数 2
分类专栏： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37656939/article/details/88630513
版权

我在使用Pytorch里面的torch.multiprocessing进行多进程训练时，报出来

CUDA error (3): initialization error (multiprocessing)

通过一番查找资料，得知在调用torch的任何函数之前加一句

torch.multiprocessing.set_start_method(‘spawn’)

可以解决问题

但是又报出了新的错误

RuntimeError: context has already been set

我在github issue中找到了解答，原来是tqdm库的问题，将其更新至4.29.0以上就好了

Leo_xh
关注
专栏目录
RuntimeError: cuda runtime error (3) : initialization error at /pytorch/aten/src/THC/THCGeneral.cpp:
Hello Word!
02-15 8497
第三个大坑： THCudaCheck FAIL file=/pytorch/aten/src/THC/THCGeneral.cpp line=50 error=3 : initialization error Process Process-12: Traceback (most recent call last): File "/usr/lib/python3.6/multipro...
cuda runtime error (63) : OS call failed or operation not supported on this OS
jacke121的专栏
03-18 5375
cuda runtime error (63) : OS call failed or operation not supported on this OS Traceback (most recent call last): File "D:\ProgramData\Miniconda3\lib\multiprocessing\queues.py", line 234, ...
RuntimeError: context has already been set
weixin_43579015的博客
11-04 7943
当 multiprocessing 模块被第二次配置 start_method 时会报错。
多进程的子进程cuda使用报错: Cannot re-initialize CUDA in forked subprocess
qq_43199876的博客
12-13 5403
这个错误表明在使用CUDA时，你的代码在一个使用fork启动方法的多进程环境中，而CUDA不支持在fork的子进程中重新初始化。为了解决这个问题，你可以将多进程的启动方法改为使用spawn，这样就可以在子进程中重新初始化CUDA。在Python中，你可以使用multiprocessing模块中的Manager对象来共享资源，或者使用Pool对象来处理进程池中的任务。如果你仍然遇到问题，可能需要考虑其他方法，例如在主进程中初始化CUDA，并将相应的资源传递给子进程，以避免CUDA的重新初始化问题。
linux浏览器打开Chrome Edge Opera报错 viz_main_impl Exiting GPU process due to errors during initialization
最新发布
zhangrelay的专栏
07-23 852
使用--disable-gpu启动参数可以告诉浏览器不使用GPU进行渲染，这通常可以解决GPU初始化错误的问题。对于您提到的浏览器（Chrome, Edge, Opera），都可以通过这种方式来启动。
CUDA error: initialization errorCUDA kernel errors
weixin_49703270的博客
03-28 578
同个cell里如果还有外部验证集的Dataloader也不行，会报错，一定要把它放到另一个cell里运行（楼主用的是jupyterlab），同样也是放到Dataloader后！解决办法：调用GPU的代码，一定要放到创建好的Dataloader后！# 根据当前折划分训练集和验证集。# 创建 DataLoader。
CUDA error (3): initialization error (multiprocessing)
鹊踏枝-码农的专栏
01-04 4891
在使用PyTorch框架搭建完网络，训练时出现CUDA error (3): initialization error (multiprocessing)错误，此类错误（若确定网络搭建没问题的话）多半是因为有其它并行程序正在运行，占用，导致在运行PyTorch程序时无法启动多线程，导致报错。 本人遇到此错误是因为在运行Matlab程序（parfor循环），启动多线程，Matlab程序运行完毕后而...
CUDA 相关错误
穷目楼的博客 - 昨日所记，今日所想，明日所学
08-06 3905
遇到过的 CUDA 相关错误汇总。 CUDA Error: initialization error 该错误产生的较大原因为CUDA驱动和CUDA工具包版本不兼容所致，每个CUDA工具包都有对应的CUDA驱动，新的CUDA驱动可以兼容老的COUA工具包，反之则可能出现该错误。升级CUDA驱动或降低CUDA版本至两者兼容。 CUDA Error: out of memory 显存不够，调整程序显存利用方式 RuntimeError: Cannot re-initialize CUDA in for
关于RuntimeError: Cannot re-initialize CUDA in forked subprocess和CUDA error: initialization error的解决
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-27 2492
最近小虎在cpu上试跑了detection任务的程序没什么问题，但是在gpu上运行时发生了关于cuda的一些报错，发现解决问题的精华就一句话。下面给出问题解决的例子和代码。
python部署TensorRT多进程问题解决
www09086031的博客
09-17 2135
单进程推理成功之后，直接多进程包装，会出现以下错误： Tensorrt ERROR: CUDA initialization failure with error 3
/home/kejia/Server/tf/Bin_x64/DeepLearning/DL_Lib_02/torch/cuda/__init__.py:52: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 803: system has unsupported display driver / cuda driver combination (Triggered internally at /pytorch/c10/cuda/CUDAFunctions.cpp:100.) return torch._C._cuda_getDeviceCount() > 0 gpu count 0 Traceback (most recent call last): File "DL_ProcessManager_01.py", line 5, in <module> File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "PyInstaller/loader/pyimod03_importers.py", line 540, in exec_module File "DL_ProcessManager/__init__.py", line 1, in <module> File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "PyInstaller/loader/pyimod03_importers.py", line 540, in exec_module File "DL_ProcessManager/DL_ProcessManager.py", line 12, in <module> File "/home/lxy/anaconda3/envs/mmdet2/lib/python3.7/site-packages/PyInstaller/hooks/rthooks/pyi_rth_multiprocessing.py", line 55, in _freeze_support File "multiprocessing/spawn.py", line 105, in spawn_main File "multiprocessing/spawn.py", line 115, in _main AttributeError: Can't get attribute 'CarmeraFunc' on <module '__main__' (built-in)> [15584] Failed to execute script DL_ProcessManager_01
07-22
3. 检查你的代码中是否有其他与CUDA相关的操作在调用`torch.cuda.NumCudaDevices()`之前被执行。确保在调用此函数之前没有其他CUDA操作。 4. 确保你的环境变量设置正确。检查环境变量`LD_LIBRARY_PATH`是否包含正确...
解決CUDA error: initialization error (multiprocessing)
学习、记录、分享
03-18 8644
在一个动作识别的算法中，NVIDIA基於CUDA的GPU，提升CPU上的速度。整个服务既有CPU处理，又有GPU处理，我们就需要把CPU上的处理做成多线并发，把GPU上的资料做成batch并发起來。由于code是用pytorch 的python版本实现的，而不是c++，這就給我們造成了困扰，对于ｃpython我们知道多进程才能做到利用CPU多核的目的，而多线程不能，我们这里用多进程并发。其中就出现...
PaddlePaddle——问题解决：使用Python multiprocessing时报错：CUDA error(3), initialization error.
Irving.Gao的博客
12-19 2529
报错详情 报错代码 from paddle.inference import PrecisionType from PaddleDetection_Inference_Lib import Paddle_inference # process 1 def paddle_predict(quene): cap = Stereo_Camera(camera_id=0) paddle_infer = Paddle_inference(model_folder_dir, use_model_img
paddlepaddle使用多进程报错“(External) CUDA error(3), initialization error.”的解决方法
逸博客
12-02 4150
将所有与paddle相关的模块都放到 multiprocessing 里 import 且不要在多进程外有 import 这些模块就可以正常运行了
scnic 23.12.1 启动RuntimeError: context has already been set
m0_58461769的博客
03-29 527
更改startup.py 929行。
pytorch中使用cuda进行多任务multiprocessing
热门推荐
YNNAD1997的博客
02-16 3万+
我们都知道python有自带的multiprocessing模块，但是如果要使用cuda的话会报错： RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 但是查找torch中spawn，查找到torch.multiprocessing.spawn，所得的介绍并不多而且网上搜到的都是抄这个说
python3从零学习-5.6.8、multiprocessing进程模块
山海皆可平z
06-02 331
源代码 Lib/multiprocessing/ multiprocessing 是一个用与 threading 模块相似API的支持产生进程的包。 multiprocessing 包同时提供本地和远程并发，使用子进程代替线程，有效避免 Global Interpreter Lock 带来的影响。因此， multiprocessing 模块允许程序员充分利用机器上的多个核心。Unix 和 Windows 上都可以运行。 multiprocessing 模块还引入了在 threading 模块中没有类
【 torch.multiporcessing】附带强化学习多进程例子
agent_snail的博客
07-14 3062
torch.multiprocessing的简单调用
RuntimeError: CUDA error: initialization error
09-05
当出现"RuntimeError: CUDA error: initialization error"的错误时，通常是由于CUDA的初始化过程中出现了问题。这可能是由于以下几个原因导致的： 1. GPU驱动程序问题：请确保你的GPU驱动程序已经正确安装并与CUDA...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值