Pytorch CUDA的一些报错及解决方案

weixin_42050524

已于 2023-01-09 11:33:00 修改

阅读量665

点赞数 1

分类专栏： Pytorch 文章标签： python pytorch Powered by 金山文档

于 2023-01-03 14:12:36 首次发布

本文链接：https://blog.csdn.net/weixin_42050524/article/details/128532177

版权

本文介绍了在使用PyTorch进行CUDA分布式训练时可能遇到的报错及解决办法，包括设置环境变量nproc_per_node和local_world_size与GPU数量匹配，以及如何处理cuda runtime error (101)。当遇到无效设备序号或无法调用显卡的问题时，可能是由于驱动版本不匹配，可通过调整PyTorch版本来解决。

摘要由CSDN通过智能技术生成

CUDA的分布式训练

torch._C._cuda_setDevice(device)
RuntimeError: cuda runtime error (101) : invalid device ordinal at /opt/conda/conda-bld/pytorch_1595629427478/work/torch/csrc/cuda/Module.cpp:59

解决办法：

在.sh脚本的时候，需要将环境中存在的node数(对于单机多卡来说，就是GPU的数量)设置匹配。也就是说，环境中有多少张卡，node数就应该等于多少。

python -m torch.distributed.launch --nproc_per_node=4 --use_env train.py --batch_size 4

推荐用法是nproc_per_node和local_world_size 设置和CUDA_VISIBLE_DEVICES的数量一致。参考链接：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_42050524

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Pytorch CUDA的一些报错及解决方案

Pytorch CUDA相关的一些问题整理，持续更新
复制链接

扫一扫

专栏目录

pytorch masked_fill报错的解决

09-17

今天小编就为大家分享一篇pytorch masked_fill报错的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

解决pytorch-yolov3 train 报错的问题

09-17

此外，当遇到训练过程中的其他问题时，可以查看日志、调试信息，甚至查阅PyTorch官方文档或在线社区（如GitHub、Stack Overflow）来获取解决方案。理解报错信息的含义以及如何根据提示进行代码调整，是提升开发技能...

1 条评论您还未登录，请先登录后发表或查看评论

“RuntimeError: CUDA error: invalid device ordinal”解决方法

qq_43826289的博客

07-03

7225

参考：https://blog.csdn.net/qxqxqzzz/article/details/107720675。用的Pytorch分布式代码，指定的每个节点GPU个数和你指定的GPU序号不对应（我出错的地方就是在这里）用于日常排错，自用。其他小伙伴跟我不一样的错误可以参考我给出博客地址，看看自己到底是哪里除了错误。S就只指定了两个GPU，对应不起来导致的。另：rank表示的结点之间的主、从关系。通过nnodes指定总共使用1个节点，通过。指定了该节点启3个进程，但是前面。

解决RuntimeError: CUDA error: invalid device ordinal

PR-XIAOBAI

12-13

2088

用的python版本是3.8torch版本用的1.12.1+cu113运行发现GPU数量为1，原本应该是8.

【PyTorch】已解决RuntimeError: CUDA error: invalid device ordinal 及其相关 CUDA 内核错误

最新发布

qq_38614074的博客

06-06

2120

通过检查GPU设备、CUDA驱动和PyTorch版本、关闭占用GPU的进程、检查GPU资源、修改代码中的设备指定、更新PyTorch和依赖库以及查看错误日志和堆栈跟踪等方法，你可以成功解决这个问题。例如，如果你的机器上只有一块GPU，但你的代码试图在设备ID为1的GPU上运行（通常设备ID从0开始计数），就会出现这个错误。：如果你的CUDA驱动版本与PyTorch安装的CUDA版本不匹配，也可能导致这个错误。首先，你需要确认你的机器上安装了哪些GPU设备，以及它们的设备ID。命令来查看GPU状态。

RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported

窝要芝士的博客

10-27

5588

你可以在运行脚本之前设置这个环境变量来启用CUDA的同步错误检测。这样可以使得CUDA错误被立即报告，并且堆栈跟踪是正确的，有助于更好地进行调试。确保你正在使用的CUDA版本与PyTorch版本兼容。确保你的设备索引值在正确的范围内。所以进一步认为：总不能是代码识别不到那些卡之类的原因？一开始这状态是没有这左边的2的，加了下面那行代码才是下图的状态——明明有8个卡，只是gpu = 3为什么一直报这个错？确认你的系统中有多少个可用的CUDA设备。有大佬知道为什么吗？为什么又突然可以在第三张卡运行了？

解决：RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously

qq_39324954的博客

07-08

4023

如果是别的代码，可能把1改成0就行。

CUDA error: invalid device ordinal 解决方法

Musennn的博客

03-19

1054

1. 超出显卡编号/不存在该显卡，解决方案：使用nvidia-smi确定显卡编号。通过上述测试代码查看GPU能否正常调用。

Pytorch 使用不同版本的cuda的方法步骤

09-17

在深度学习领域，PyTorch是一个广泛使用的开源框架，它依赖于CUDA来进行GPU加速计算。然而，由于项目的不同需求，有时我们需要使用特定版本的CUDA来确保代码的兼容性和正确性。本文将详细介绍在Ubuntu环境下，如何在...

RuntimeError: CUDA error: invalid device ordinal

Running Snail

09-06

1903

【错误】 RuntimeError: CUDA error: invalid device ordinal 【解决方法】 args.device = torch.device('cuda:' + str(args.gpu_id)) 使用的gpu_id超过装GPU的卡导致我的代码是上面那种写法，不同代码写法不同，归根结底，把cuda:后面的数字改成合适的即可 ...

torch.cuda.set_device(device)

热门推荐

weixin_36670529的博客

05-08

1万+

torch.cuda.set_device(device)[source] Sets the current device. Usage of this function is discouraged in favor of device. In most cases it’s better to use CUDA_VISIBLE_DEVICES environmental variable....

Python Error fix 汇总

夏普通

04-02

1539

目录1、编码问题SyntaxError: Non-UTF-8 code starting with '\xc4' in file2、安装音频处理库—librosaNo matching distribution解决Cannot uninstall 'llvmlite'的解决方案3、Could not install packages due to an EnvironmentError: [Errno 13] 权限不够的解决办法4、RuntimeError: cuda runtime error (101)

torch._C._cuda_init() RuntimeError: cuda runtime error (38) : no CUDA-capable device is detected

onlyforbest的博客

10-18

7119

1、一个月不用云服务器就报了个大错（整个人都不好了，之前还用的好好的，现在就凉了）： torch._C._cuda_init() RuntimeError: cuda runtime error (38) : no CUDA-capable device is detected at /pytorch/aten/src/THC/THCGeneral.cpp:50 2、寻找解决方法：第一篇参考博客： https://blog.csdn.net/hangzuxi8764/article/d

Pytorch 读取参数错误 RuntimeError: cuda runtime error (10) : invalid device ordinal

weixin_36670529的博客

03-23

1206

博主实在使用Pytorch分布式训练时遇到这个问题的，原因是程序中GPU数量和指定的GPU数量不一样导致的。底层查看之后，发现了问题。原来是Pytorch在参数保存的时候，会注册一个跟原来参数位置有关的location。比如原来你在服务器上的GPU1训练，这个location很可能就是GPU1了。而如果你台式机上只有一个GPU，也就是GPU0的时候，那么这个参数带进来的Location信息于你的台式机不兼容，就会发生找不到cuda device的问题了。 ...

zzzaf的博客

11-26

5893

1行代码消除PyTorch的CUDA内存溢出报错，这个GitHub项目刚发布就揽星600+

m0_46163918的博客

12-18

4963

丰色发自凹非寺量子位报道 | 公众号 QbitAI CUDA error: out of memory. 多少人用PyTorch“炼丹”时都会被这个bug困扰。一般情况下，你得找出当下占显存的没用的程序，然后kill掉。如果不行，还需手动调整batch size到合适的大小…… 有点麻烦。现在，有人写了一个PyTorch wrapper，用一行代码就能“无痛”消除这个bug。有多厉害？相关项目在GitHub才发布没几天就收获了600+星。一行代码解决.

多卡GPU训练时的问题

qq_34845880的博客

09-17

1120

由于这个代码很久没有跑过了，换了2.0的环境就出现这个问题，上网搜了一些资料，有说让代码中的CUDA_VISIBLE_DEVICES注释了，但由于本人是一个双卡的机器，只想用第二块显卡，如果注释了就会导致代码也会允许在第一块显卡运行。这行代码一定要放在代码的最前端(原因就是因为当你调用torch的时候，如果import进来的其他文件中import了torch，就因为执行.py文件时会优先import其他包中的torch)但这种方法比较麻烦，因为会导致你的代码需要多处的修改。

pytorch的多GPU训练的两种方式

Mr_health的博客

02-08

7827

方法一：torch.nn.DataParallel 1. 原理如下图所示：小朋友一个人做4份作业，假设1份需要60min，共需要240min。这里的作业就是pytorch中要处理的data。与此同时，他也可以先花3min把作业分配给3个同伙，大家一起60min做完。最后他再花3min把作业收起来，一共需要66min。这个小朋友就是主GPU。他的过程是：分发 ->并行运算->结果回收。这就是pytorch要使用的第一种并行方法：torch.nn.DataPa.

pip安装cuda支持的pytorch必报错

07-28

如果你在使用 `pip` 安装 CUDA 支持的 PyTorch 时遇到错误，有几个可能的原因和解决方法： 1. 确认你已经正确安装了 CUDA。使用 `nvcc --version` 命令来检查 CUDA 是否成功安装并且版本是否匹配。 2. 确认你的系统符合 PyTorch 的其他依赖项要求。例如，你可能需要安装合适的 NVIDIA 驱动程序和其他 CUDA 工具。 3. 如果你的环境中已经存在其他版本的 PyTorch，则可能会发生冲突。尝试卸载现有的 PyTorch 版本，然后再次尝试安装 CUDA 支持的 PyTorch。 4. 如果问题仍然存在，你可以尝试从源代码编译安装 PyTorch。在 PyTorch 官方 GitHub 仓库中可以找到相应的说明和指导。如果你能提供更具体的错误信息，我可以尝试给出更详细的解决方案。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交