解决CUDA error (3): initialization error (multiprocessing)

最新推荐文章于 2024-08-18 16:00:08 发布

Leo_xh

最新推荐文章于 2024-08-18 16:00:08 发布

阅读量5.8k

点赞数 2

分类专栏： PyTorch

本文链接：https://blog.csdn.net/weixin_37656939/article/details/88630513

版权

PyTorch 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

我在使用Pytorch里面的torch.multiprocessing进行多进程训练时，报出来

CUDA error (3): initialization error (multiprocessing)

通过一番查找资料，得知在调用torch的任何函数之前加一句

torch.multiprocessing.set_start_method(‘spawn’)

可以解决问题

但是又报出了新的错误

RuntimeError: context has already been set

我在github issue中找到了解答，原来是tqdm库的问题，将其更新至4.29.0以上就好了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Leo_xh

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

RuntimeError: cuda runtime error (3) : initialization error at /pytorch/aten/src/THC/THCGeneral.cpp:

Hello Word!

02-15

8506

第三个大坑： THCudaCheck FAIL file=/pytorch/aten/src/THC/THCGeneral.cpp line=50 error=3 : initialization error Process Process-12: Traceback (most recent call last): File "/usr/lib/python3.6/multipro...

cuda runtime error (63) : OS call failed or operation not supported on this OS

jacke121的专栏

03-18

5385

cuda runtime error (63) : OS call failed or operation not supported on this OS Traceback (most recent call last): File "D:\ProgramData\Miniconda3\lib\multiprocessing\queues.py", line 234, ...

1 条评论您还未登录，请先登录后发表或查看评论

RuntimeError: context has already been set

weixin_43579015的博客

11-04

8087

当 multiprocessing 模块被第二次配置 start_method 时会报错。

多进程的子进程cuda使用报错: Cannot re-initialize CUDA in forked subprocess

qq_43199876的博客

12-13

5715

这个错误表明在使用CUDA时，你的代码在一个使用fork启动方法的多进程环境中，而CUDA不支持在fork的子进程中重新初始化。为了解决这个问题，你可以将多进程的启动方法改为使用spawn，这样就可以在子进程中重新初始化CUDA。在Python中，你可以使用multiprocessing模块中的Manager对象来共享资源，或者使用Pool对象来处理进程池中的任务。如果你仍然遇到问题，可能需要考虑其他方法，例如在主进程中初始化CUDA，并将相应的资源传递给子进程，以避免CUDA的重新初始化问题。

RuntimeError: Unexpected error from cudaGetDeviceCount()

最新发布

qq_43367614的博客

08-18

391

docker 容器里的torch 无法访问gpu 调用cuda的问题

CUDA error: initialization errorCUDA kernel errors

weixin_49703270的博客

03-28

599

同个cell里如果还有外部验证集的Dataloader也不行，会报错，一定要把它放到另一个cell里运行（楼主用的是jupyterlab），同样也是放到Dataloader后！解决办法：调用GPU的代码，一定要放到创建好的Dataloader后！# 根据当前折划分训练集和验证集。# 创建 DataLoader。

CUDA error (3): initialization error (multiprocessing)

鹊踏枝-码农的专栏

01-04

4898

在使用PyTorch框架搭建完网络，训练时出现CUDA error (3): initialization error (multiprocessing)错误，此类错误（若确定网络搭建没问题的话）多半是因为有其它并行程序正在运行，占用，导致在运行PyTorch程序时无法启动多线程，导致报错。本人遇到此错误是因为在运行Matlab程序（parfor循环），启动多线程，Matlab程序运行完毕后而...

CUDA 相关错误

穷目楼的博客 - 昨日所记，今日所想，明日所学

08-06

3925

关于RuntimeError: Cannot re-initialize CUDA in forked subprocess和CUDA error: initialization error的解决

狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs

09-27

2521

最近小虎在cpu上试跑了detection任务的程序没什么问题，但是在gpu上运行时发生了关于cuda的一些报错，发现解决问题的精华就一句话。下面给出问题解决的例子和代码。

python部署TensorRT多进程问题解决

www09086031的博客

09-17

2149

单进程推理成功之后，直接多进程包装，会出现以下错误： Tensorrt ERROR: CUDA initialization failure with error 3

/home/kejia/Server/tf/Bin_x64/DeepLearning/DL_Lib_02/torch/cuda/__init__.py:52: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 803: system has unsupported display driver / cuda driver combination (Triggered internally at /pytorch/c10/cuda/CUDAFunctions.cpp:100.) return torch._C._cuda_getDeviceCount() > 0 gpu count 0 Traceback (most recent call last): File "DL_ProcessManager_01.py", line 5, in <module> File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "PyInstaller/loader/pyimod03_importers.py", line 540, in exec_module File "DL_ProcessManager/__init__.py", line 1, in <module> File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "PyInstaller/loader/pyimod03_importers.py", line 540, in exec_module File "DL_ProcessManager/DL_ProcessManager.py", line 12, in <module> File "/home/lxy/anaconda3/envs/mmdet2/lib/python3.7/site-packages/PyInstaller/hooks/rthooks/pyi_rth_multiprocessing.py", line 55, in _freeze_support File "multiprocessing/spawn.py", line 105, in spawn_main File "multiprocessing/spawn.py", line 115, in _main AttributeError: Can't get attribute 'CarmeraFunc' on <module '__main__' (built-in)> [15584] Failed to execute script DL_ProcessManager_01

07-22

3. 检查你的代码中是否有其他与CUDA相关的操作在调用`torch.cuda.NumCudaDevices()`之前被执行。确保在调用此函数之前没有其他CUDA操作。 4. 确保你的环境变量设置正确。检查环境变量`LD_LIBRARY_PATH`是否包含正确...

解決CUDA error: initialization error (multiprocessing)

学习、记录、分享

03-18

8657

在一个动作识别的算法中，NVIDIA基於CUDA的GPU，提升CPU上的速度。整个服务既有CPU处理，又有GPU处理，我们就需要把CPU上的处理做成多线并发，把GPU上的资料做成batch并发起來。由于code是用pytorch 的python版本实现的，而不是c++，這就給我們造成了困扰，对于ｃpython我们知道多进程才能做到利用CPU多核的目的，而多线程不能，我们这里用多进程并发。其中就出现...

PaddlePaddle——问题解决：使用Python multiprocessing时报错：CUDA error(3), initialization error.

Irving.Gao的博客

12-19

2540

报错详情报错代码 from paddle.inference import PrecisionType from PaddleDetection_Inference_Lib import Paddle_inference # process 1 def paddle_predict(quene): cap = Stereo_Camera(camera_id=0) paddle_infer = Paddle_inference(model_folder_dir, use_model_img

paddlepaddle使用多进程报错“(External) CUDA error(3), initialization error.”的解决方法

逸博客

12-02

4164

scnic 23.12.1 启动RuntimeError: context has already been set

m0_58461769的博客

03-29

558

更改startup.py 929行。

pytorch中使用cuda进行多任务multiprocessing

热门推荐

YNNAD1997的博客

02-16

3万+

我们都知道python有自带的multiprocessing模块，但是如果要使用cuda的话会报错： RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 但是查找torch中spawn，查找到torch.multiprocessing.spawn，所得的介绍并不多而且网上搜到的都是抄这个说

python3从零学习-5.6.8、multiprocessing进程模块

山海皆可平z

06-02

335

源代码 Lib/multiprocessing/ multiprocessing 是一个用与 threading 模块相似API的支持产生进程的包。 multiprocessing 包同时提供本地和远程并发，使用子进程代替线程，有效避免 Global Interpreter Lock 带来的影响。因此， multiprocessing 模块允许程序员充分利用机器上的多个核心。Unix 和 Windows 上都可以运行。 multiprocessing 模块还引入了在 threading 模块中没有类

【 torch.multiporcessing】附带强化学习多进程例子

agent_snail的博客

07-14

3098

torch.multiprocessing的简单调用

RuntimeError: CUDA error: initialization error

09-05

当出现"RuntimeError: CUDA error: initialization error"的错误时，通常是由于CUDA的初始化过程中出现了问题。这可能是由于以下几个原因导致的： 1. GPU驱动程序问题：请确保你的GPU驱动程序已经正确安装并与CUDA版本匹配。如果你的驱动程序过旧或与CUDA不兼容，可能会导致初始化错误。 2. CUDA版本不匹配：请确保你的CUDA版本与你的深度学习框架（如PyTorch或TensorFlow）所需的CUDA版本相匹配。如果版本不匹配，可能会导致初始化错误。 3. 硬件问题：有时候，初始化错误可能与硬件本身有关。请确保你的GPU正确安装并正常工作。对于解决这个问题，可以尝试以下方法： 1. 更新GPU驱动程序：前往GPU制造商的官方网站，下载并安装最新的GPU驱动程序。 2. 检查CUDA版本：确保你的CUDA版本与深度学习框架所需的版本相匹配。如果不匹配，可以尝试升级或降级CUDA版本。 3. 检查硬件连接：确保你的GPU正确安装并与计算机连接良好。可以尝试重新插拔GPU，确保连接稳定。 4. 检查系统环境变量：确保你的系统环境变量中包含正确的CUDA路径。需要将CUDA的路径添加到PATH环境变量中。如果以上方法都没有解决问题，那可能是其他更复杂的问题导致的初始化错误。建议咨询深度学习框架的官方论坛或寻求专业人士的帮助来进一步调试和解决问题。123 #### 引用[.reference_title] - *1* *3* [【Pytorch】RuntimeError: CUDA error: initialization error](https://blog.csdn.net/LittleSeedling/article/details/127995183)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [关于RuntimeError: Cannot re-initialize CUDA in forked subprocess和CUDA error: initialization error的...](https://blog.csdn.net/Davidietop/article/details/127072346)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]