pytorch训练的时候遇到RuntimeError: CUDA error: device-side assert triggered

最新推荐文章于 2024-05-13 10:42:06 发布
最新推荐文章于 2024-05-13 10:42:06 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： Pytorch python 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_34172099/article/details/120905878
版权

RuntimeError: CUDA error: device-side assert triggered

       在pytorch训练的时候遇到这个错误，查询一下原因的确是标签越界，这里与Python起始是从0有关。需要对标签进行细心的处理才可以。但是这里要讲解的不是这个，而是我是在预测位置点何来的标签越界？？

      下面讲解这个错误处理办法：

RuntimeError: CUDA error: device-side assert triggered
  1. 首先检查自己的标签是否从0开始；
  2. 将模型、损失函数、张量全部转到CPU上面运行或者debug，此时会报错具体的位置。因为cpu比cuda更能够定位自己的错误所在。在debug模式下，我发现的确是因为某个索引越界导致程序异常（但是cuda始终告诉我是标签越界）。

经过上面两部，基本就能解决问题。祝好运！

 我叫谢琛，深度学习探索者一枚！（有意咨询xiec177）
tensorflow/pytorch交流群请加QQ：548368797

 

谢陈（xiec177）
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
qq_41997274的博客
10-27 5722
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
RuntimeError: CUDA error: device-side assert triggered
阿文
11-27 2690
RuntimeError: CUDA error: device-side assert triggered /pytorch/aten/src/THCUNN/BCECriterion.cu:57: void bce_updateOutput_no_reduce_functor<Dtype, Acctype>::operator()(const Dtype *, const Dty...
关键点检测实战：人体关键点检测
06-21
从零开始，讲解 数据标注、数据集制作、模型训练、模型测试、模型优化、环境搭建等方面内容，让学习者能够快速学到AI图像领域关键点技术，应用到实际的工作中去。
【已解决】RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous
最新发布
dont worry about it的博客
05-13 4万+
报错： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_US
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously re
m0_74982304的博客
06-16 8604
解决办法：先测试自己的代码有没有代码上的问题，再考虑有没有cuda内存泄漏的问题，但内存泄漏基本上不会发生。在消除这两种可能后，可以在代码最前面加上下面这段代码，这个方法是gpt告诉我的，这也是报错中所提示的，但是并没有解决我的问题，各位老铁不妨一试。我用的是COCO2017数据集，这个数据集比较大，其中图片很多，我在我的dataloader中将所有图片都调成了[3,256,256]的大小。有意思的是，在训练最开始时一切顺利，到了几千张图片后就发生了上述的报错。到此为止跑了十几万张图片都没有再报错。
解决报错RuntimeError: CUDA error: device-side assert triggered
weixin_43787504的博客
10-24 1400
我仔细检查了程序，代码没有问题，后来在调试时发现输入数据中莫名其妙多了一行数据。删除多出的数据后，再运行，程序正常跑起来了。
RuntimeError: CUDA error: device-side assert triggered Compile with `TORCH_USE_CUDA_DSA` to enable
weixin_44913242的博客
09-13 1977
tokenizer.add_special_tokens({‘pad_token’: ‘[PAD]’})添加pad_token的话会导致数据在eos之后还会有值，会导致计算出错。微调baichuan-7b 的时候报了这个错，后面调试了一下发现是因为。baichuan1 的tokenizer类缺少了pad_token。来定义pad_token。
RuntimeError: CUDA error: device-side assert triggered Compile with `TORCH_USE_CUDA_DSA` to enable d
m0_67350746的博客
06-17 1227
刚开始遇到这个错误还以为硬件哪里出问题了，后面发现是将二分类模型的out_dim从2修改到1导致的，不过在修改out_dim之后仍然报错，这可能是因为内存泄漏或其他一些底层bug导致，在restart kernel之后，报错消失。
RuntimeError: CUDA error: device-side assert triggered报错
ruichuang2的博客
07-08 405
在加载数据的时候Dataloader()加上drop_last=True，就好了。这个报错，依次排除了是不是因为数据包含nan；
pytorch-1.5.1-py3.7_cuda101_cudnn7_0
07-25
pytorch-1.5.1-py3.7_cuda101_cudnn7_0 pytorch-1.5.1-py3.7_cuda101_cudnn7_0 pytorch-1.5.1-py3.7_cuda101_cudnn7_0
yolov5-3.1版本训练时可能会报错及修改方法汇总
08-20
一、 RuntimeError: a view of a leaf Variable that requires grad is being used in an in-place operation 在 yolov5-3.1 版本训练时，可能会出现上述报错。这是因为 PyTorch 中的叶变量（leaf Variable）要求 ...
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
pytorch-cnn-finetune：使用PyTorch微调预训练的卷积神经网络
02-05
使用PyTorch对预训练的卷积神经网络进行微调。 产品特点 可以访问ImageNet上经过预训练的最受欢迎的CNN架构。 自动替换网络顶部的分类器，使您可以使用具有不同类数的数据集训练网络。 使您可以使用任何分辨率的...
解决报错：RuntimeError: CUDA error: device-side assert triggered
qq_50000922的博客
06-25 1万+
如果下方有提：For debugging consider passing CUDA_LAUNCH_BLOCKING=1.我们可以在代码中import os下添加“os.environ[‘CUDA_LAUNCH_BLOCKING’] = “1””，这样可以保证报错信息提示的位置是准确的。我遇到的问题最终显示是在代码的scatter_函数（torch）中存在映射维度不匹配的情况，映射的目标index有0,1两个位置，但被映射对象对应维度上只有1维，因此报错。
完美解决-RuntimeError: CUDA error: device-side assert triggered
jh035的博客
11-23 5985
epoch： 1 的第 0 个inputs torch.Size([8, 3, 224, 224]) labels tensor([4, 4, 3, 4, 4, 4, 4, 4])epoch： 1 的第 4 个inputs torch.Size([8, 3, 224, 224]) labels tensor([3, 4, 2, 4, 1, 1, 4, 1])
【RuntimeError: CUDA error: device-side assert triggered】问题与解决
热门推荐
ball is life
07-09 5万+
RuntimeError: CUDA error: device-side assert triggered以及Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.BUG解决思路
yolact RuntimeError: CUDA error: device-side assert triggered
08-30
yolact RuntimeError: CUDA error: device-side assert triggered是指在运行yolact模型时出现了CUDA错误，具体为设备端断言触发。根据引用[3]所述，这个错误通常是由于代码中出现了索引越界导致的。然而，定位到报错...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢陈（xiec177）

致力于解决深度学习框架问题。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值