CUDA error: invalid device ordinal

最新推荐文章于 2024-06-05 15:23:31 发布
最新推荐文章于 2024-06-05 15:23:31 发布
阅读量2.2w 收藏 10
点赞数 6
分类专栏： 炼丹之DL 文章标签： 分布式 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dartao/article/details/124150851
版权

使用服务器进行单机多卡数据并行训练的时候，出现了一个小问题，本来以为可以直接创建4个process，可以4路数据并行，结果运行时发现报以下错：

RuntimeError: CUDA error: invalid device ordinal

原因：当前设备的GPU数量与cuda数量不匹配，
解决方案：
（1）先使用nvidia-smi命令查看服务器GPU数量

nvidia-smi

比如我这里看了一下，只有两张1080 Ti的卡
在这里插入图片描述
（2）根据GPU的数量改以下代码里的进程数量
在这里插入图片描述
（3）运行成功

#这里是调用cuda设备(GPU)
device = torch.device("cuda:{}".format(rank))

在这里插入图片描述

dartao_
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
RuntimeError: CUDA error: invalid device ordinal解决方案
weixin_43178406的博客
01-09 2万+
本文主要介绍了RuntimeError: CUDA error: invalid device ordinal解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 LLM解决方案 2.2 cv2库解决方案
关于pip install xxx报错SyntaxError：invalid syntax的解决方法
01-20
关于pip install xxx报错SyntaxError：invalid syntax的解决方法 声明：1.以下均以pip install requests举例； 2.Windows系统； 首先，看自己是否在python环境中运行了pip，若是，请打开“开始”菜单，输入cmd，找到...
CUDA error: invalid device ordinal 解决方法
Musennn的博客
03-19 1115
1. 超出显卡编号/不存在该显卡，解决方案：使用nvidia-smi确定显卡编号。通过上述测试代码查看GPU能否正常调用。
已解决：RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously repo
最新发布
科技改变人类，技术成就未来
06-05 1092
解决Python报错：RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously repo
RuntimeError: CUDA error: invalid device ordinal
热门推荐
weixin_42535423的博客
10-27 5万+
解决方法： 造成这个错误的原因主要是GPU编号原因或者cuda安装版本不匹配 例如当本地只有一个 GPU (GPU:0)，而程序中使用 GPUs:1。 因此，在程序中找到定义 device 的地方，我的如下： device = th. device ("cuda:1") 将其中 “cuda:1” 修改为 “cuda:0”，程序将不在报错。 device = th. device ("cuda:0") ...
【CUDA error: invalid device ordinal错误解决】
weixin_44139454的博客
06-01 1607
由于在训练时使用DataParallel，且torch.save使用如下代码保存。将之改为保存模型的参数（注意：必须使用。train.py（未验证是否可行）
“RuntimeError: CUDA error: invalid device ordinal”解决方法
qq_43826289的博客
07-03 7321
参考：https://blog.csdn.net/qxqxqzzz/article/details/107720675。用的Pytorch分布式代码，指定的每个节点GPU个数和你指定的GPU序号不对应（我出错的地方就是在这里）用于日常排错，自用。其他小伙伴跟我不一样的错误可以参考我给出博客地址，看看自己到底是哪里除了错误。S就只指定了两个GPU，对应不起来导致的。另：rank表示的结点之间的主、从关系。通过nnodes指定总共使用1个节点，通过。指定了该节点启3个进程，但是前面。
RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported
窝要芝士的博客
10-27 5630
你可以在运行脚本之前设置这个环境变量来启用CUDA的同步错误检测。这样可以使得CUDA错误被立即报告，并且堆栈跟踪是正确的，有助于更好地进行调试。确保你正在使用的CUDA版本与PyTorch版本兼容。确保你的设备索引值在正确的范围内。所以进一步认为：总不能是代码识别不到那些卡之类的原因？一开始这状态是没有这左边的2的，加了下面那行代码才是下图的状态——明明有8个卡，只是gpu = 3为什么一直报这个错？确认你的系统中有多少个可用的CUDA设备。有大佬知道为什么吗？为什么又突然可以在第三张卡运行了？
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
AssertionError: Invalid device id 仔细检查后发现原来服务器有多个GPU，当时开启了两个进行加速运算。 net1 = nn.DataParallel(net1, device_ids=[0, 1]) 而本地台式机只有一个GPU，调用数量超出所以报错。 改为 ...
解决pip install xxx报错SyntaxError: invalid syntax的问题
09-19
今天小编就为大家分享一篇解决pip install xxx报错SyntaxError: invalid syntax的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
已解决RuntimeError: CUDA error: invalid device ordinal 亲测有效！！！
m0_55927959的博客
05-08 2514
已解决RuntimeError: CUDA error: invalid device ordinal 亲测有效！！！
AssertionError: Invalid device id 和RuntimeError: CUDA error: invalid device ordinal
qq_41368074的博客
01-14 1万+
我在使用torch多卡并行时出现了这个两个问题。 ##问题一：AssertionError: Invalid device id，即无效的设备id 出现的原因：结合代码解释： import ... os.environ["CUDA_VISIBLE_DEVICES"] = "2,3" model = model(...) torch.cuda.set_device(2) model = torch.nn.DataParrel(model, device_ids=[2,3]) 错误原因：o
问题解决 | RuntimeError: CUDA error: invalid device ordinalCUDA kernel errors
weixin_44649780的博客
03-04 4934
RuntimeError（运行时错误）： CUDA 错误：设备序号无效CUDA 内核错误可能会在其他 API 调用中异步报告，因此下面的堆栈跟踪可能不正确。为便于调试，可考虑通过 CUDA_LAUNCH_BLOCKING=1。使用 `TORCH_USE_CUDA_DSA` 进行编译，以启用设备端断言。
调用GPU进行训练时出现 CUDA error : invalid device ordinal 核心已转储的错误 解决方案
weixin_43767344的博客
05-08 9222
ubuntu系统，在带有GTX 1080Ti显卡的笔记本上配置好了显卡驱动nvidia-384 ，CUDA9.0，cuDNN7.0.5，opencv3.4.3，anaconda3 环境,使用darknet进行训练时，使用以下指令训练： ```./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg ...
解决报错：CUDA error: invalid device ordinal
zly_Always_be的博客
12-02 808
解决报错：CUDA error: invalid device ordinal
RuntimeError: radix_sort: failed on 1st step: cudaErrorInvalidDevice: invalid device ordinal
qq_46684028的博客
07-16 966
解决RuntimeError: radix_sort: failed on 1st step: cudaErrorInvalidDevice: invalid device ordinal
解决RuntimeError: CUDA error: invalid device ordinal
PR-XIAOBAI
12-13 2121
用的python版本是3.8torch版本用的1.12.1+cu113运行发现GPU数量为1，原本应该是8.
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值