pytorch报错：RuntimeError: CUDA error: device-side assert triggered究极解决方案

最新推荐文章于 2024-05-21 11:43:53 发布
最新推荐文章于 2024-05-21 11:43:53 发布
阅读量1.8w 收藏 23
点赞数 19
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21768483/article/details/111509495
版权

原因

模型的数据处理出了问题，一般是类似于数组访问越界的问题
1.例如分类的标签是数据处理的时候是1-10，但是torch在计算交叉熵是默认是0-9
2.embedding模块的词表长度问题，比如embedding中词表总长度是100，但是具体数据的token_id超过100，也会报错。
3.其他越界问题

错误定位

torch在使用cuda计算是报错的位置的代码不一定是错的，所以这点一定要注意（推测cuda并行计算，不能清楚的定位到具体错误位置）
这时候要注意一点，把所有数据，模型不要放在cuda上计算，将数据和模型全部切换至CPU重新跑，这个时候报错才会真正的看到自己数据的错误。

cuda报错信息看不出什么错那就把据切换到cpu看看究竟是什么问题
Matrix-yang
关注
  • 19
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
RuntimeError: CUDA error: device-side assert triggered
阿文
11-27 2703
RuntimeError: CUDA error: device-side assert triggered /pytorch/aten/src/THCUNN/BCECriterion.cu:57: void bce_updateOutput_no_reduce_functor<Dtype, Acctype>::operator()(const Dtype *, const Dty...
RuntimeError: CUDA error: device-side assert triggered报错
ruichuang2的博客
07-08 416
在加载数据的时候Dataloader()加上drop_last=True，就好了。这个报错，依次排除了是不是因为数据包含nan；
解决报错：RuntimeError: CUDA error: device-side assert triggered
qq_50000922的博客
06-25 1万+
如果下方有提：For debugging consider passing CUDA_LAUNCH_BLOCKING=1.我们可以在代码中import os下添加“os.environ[‘CUDA_LAUNCH_BLOCKING’] = “1””，这样可以保证报错信息提示的位置是准确的。我遇到的问题最终显示是在代码的scatter_函数（torch）中存在映射维度不匹配的情况，映射的目标index有0,1两个位置，但被映射对象对应维度上只有1维，因此报错。
PyTorch 错误 RuntimeError: CUDA error: device-side assert triggered
最新发布
不会写代码的码农
05-21 304
检查一下数据集标签和训练时的标签是否一致。
torch做目标检测时报错 RuntimeError: CUDA error: device-side assert triggered 原因和解决方法
u014466076的博客
12-17 1992
用自己的数据训练torchvision的maskrcnn时候,报错如下: Traceback (most recent call last): File "main_train_detection.py", line 232, in <module> main(params) File "main_train_detection.py", line 201, in main train_one_epoch(model, optimizer, data_loader, de
RuntimeError: CUDA error: device-side assert triggered Pytorch框架代码运行错误解决方案(亲测有效！！)
weixin_42112050的博客
09-24 2897
RuntimeError: CUDA error: device-side assert triggered bug详解报错原因错误定位解决方案 报错原因 在使用Pytorch框架代码进行模型训练时出现以下报错：RuntimeError: CUDA error: device-side assert triggered。出现这种报错的直接原因多种多样，没有办法一一列举，网上许多资料列举的解决方案是自己代码的报错解决，不具有通用性。很难通过查看这类资料找寻到解决方案。这个错误是CUDA报错，根本原因是代码中有
【RuntimeError: CUDA error: device-side assert triggered】问题与解决
热门推荐
ball is life
07-09 5万+
RuntimeError: CUDA error: device-side assert triggered以及Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.BUG解决思路
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
pytorch报错：Process finished with exit code -1073741819 (0xC0000005)
12-21
标题中的“pytorch报错：Process finished with exit code -1073741819 (0xC0000005)”是一个常见的错误提示，它表明PyTorch程序在尝试使用GPU时遇到了问题。这个错误代码0xC0000005通常与访问冲突或内存损坏有关，...
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
pytorch::Dataloader中的迭代器和生成器应用详解
09-18
主要介绍了pytorch::Dataloader中的迭代器和生成器应用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pytorch报错：device-side assert triggered
celina0321的博客
03-03 958
使用pytorch框架训练神经网络时，可能会遇到如下错误，或者类似的错误： /pytorch/aten/src/ATen/native/cuda/Loss.cu:106: ... Assertion 'input_var >= zero && input_var < one' failed. ... ...device-side assert triggered 遇到过两次都与pytorch内置的损失函数有关： 1. 类别错误——分类网络输出类别维度与target的范围.
pytorch bug: RuntimeError: cuda runtime error (59) : device-side assert triggered解决
weixin_38862073的博客
09-22 699
报错如下： 具体的断言是：Assertion srcIndex < srcSelectDimSize failed， 从这可以看出，这是索引值问题。 然而，这个索引问题一般来自nn.Embedding，看下面例子： import torch.nn as nn import torch emb = nn.Embedding(20, 100, padding_idx=-1) inp = torch.tensor([5, 2, 7, 12, 3]) bad_padding1 = torch.cat((i
完美解决-RuntimeError: CUDA error: device-side assert triggered
jh035的博客
11-23 6028
epoch： 1 的第 0 个inputs torch.Size([8, 3, 224, 224]) labels tensor([4, 4, 3, 4, 4, 4, 4, 4])epoch： 1 的第 4 个inputs torch.Size([8, 3, 224, 224]) labels tensor([3, 4, 2, 4, 1, 1, 4, 1])
CUDA error: device-side assert triggered
牛肉胡辣汤
11-27 4845
主机端代码是在主机CPU上执行的代码，负责处理与设备通信，控制设备的启动和停止，以及执行设备端代码的主要逻辑。例如，在CUDA中，可以使用cudaMalloc函数在设备上分配内存，使用cudaMemcpy函数进行主机和设备之间的数据传输，使用cudaFree函数释放设备内存。设备端代码能够利用GPU的并行性，处理多个数据元素同时进行计算，例如对一个数组中的多个元素进行相同的操作。总而言之，设备端是指在计算设备上执行的代码，通常用于利用GPU进行高并发的并行计算。本文将介绍这个错误的原因，以及如何解决它。
device-side assert triggered at /pytorch/aten/src/THC/THCReduceAll.cuh:327
ChrisPaul333的博客
03-13 4268
关于device-side assert triggered at /pytorch/aten/src/THC/THCReduceAll.cuh:327 主要是因为交叉熵损失函数的labels出现了越界，labels的值只能为[0,n_class-1]。 之前更改了Maskrcnn的数据集后类的个数应该为50个，但是数据处理的时候直接设置到了50所以一直报错！将label的tensor - 1就完美解决了！ 如下代码中注意predicate_labels中的取值即可！ self.criterion = nn
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
qq_41997274的博客
10-27 5784
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
yolact RuntimeError: CUDA error: device-side assert triggered
08-30
yolact RuntimeError: CUDA error: device-side assert triggered是指在运行yolact模型时出现了CUDA错误，具体为设备端断言触发。根据引用[3]所述，这个错误通常是由于代码中出现了索引越界导致的。然而，定位到报错位置并不能直接找到错误的根本原因，也无法从报错信息中得知具体的解决方案。 为了解决这个问题，可以尝试使用CPU而非GPU运行代码。这样一来，就可以通过报错信息较容易地找到错误的位置和原因。在将代码切换回GPU运行之前，先解决错误，并确保代码不会出现索引越界的问题。 另外，根据引用的建议，还可以通过调整batch_size的大小来减少显存的使用量。此外，使用item()属性来获取torch变量的标量值也可以减少显存的占用。 综上所述，解决yolact RuntimeError: CUDA error: device-side assert triggered的方法是： 1. 尝试使用CPU而非GPU运行代码，通过报错信息定位错误位置和原因，并解决索引越界问题。 2. 调整batch_size的大小以减少显存的使用量。 3. 使用item()属性来获取torch变量的标量值，减少显存的占用。 请根据具体情况尝试这些解决方法，以解决该错误。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [RuntimeError: CUDA error: device-side assert triggered](https://blog.csdn.net/HPU_CPD/article/details/126592019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [pytorch模型提示超出内存RuntimeError: CUDA out of memory.](https://download.csdn.net/download/weixin_38552305/14884908)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [RuntimeError: CUDA error: device-side assert triggered Pytorch框架代码运行错误解决方案(亲测有效！...](https://blog.csdn.net/weixin_42112050/article/details/120455407)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值