RuntimeError: CUDA error: device-side assert triggered

最新推荐文章于 2023-06-25 02:15:25 发布
最新推荐文章于 2023-06-25 02:15:25 发布
阅读量1.2k 收藏
点赞数
分类专栏： 报错 python pytorch 文章标签： python 机器学习 人工智能 神经网络
原创文章不要私自转载，自私转载必究责任，如需转载请联系wx:topeijie商谈
本文链接：https://blog.csdn.net/DD_PP_JJ/article/details/115892558
版权
pytorch 同时被 3 个专栏收录
18 篇文章 0 订阅
订阅专栏
python
15 篇文章 1 订阅
订阅专栏
报错
8 篇文章 0 订阅
订阅专栏

RuntimeError: CUDA error: device-side assert triggered
terminate called after throwing an instance of ‘c10::Error’
/c10d/NCCLUtils.hpp:155, unhandled cuda error, NCCL version 2.7.8

分析： 这种报错通过查找博客，发现应该是代码实现中某些地方出了bug，比如label越界，sqrt 内容小于0等。但是笔者从另一个角度给可能存在的bug, 就是分类模型输出的张量长度与数据集类别不符。比如我有1000个类，但是模型输出只有10个，那么在计算crossentropy的时候就会出现错误。

*pprp*
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
libtorch-yolov5:yolov5的LibTorch推理实现
04-23
介绍 对象检测算法的LibTorch推理实现。 GPU和CPU均受支持。 依存关系 Ubuntu 16.04 CUDA 10.2 OpenCV 3.4.12 LibTorch 1.6.0 TorchScript模型导出 请在此处参考官方文档： : 强制更新：开发人员需要修改原始以下代码 # line 29 model.model[-1].export = False 添加GPU支持：请注意， 当前的导出脚本默认情况下使用CPU ，需要对“ export.py”进行如下修改以支持GPU： # line 28 img = torch . zeros (( opt . batch_size , 3 , * opt . img_size )). to ( device = 'cuda' ) # line 31 model = attempt_load ( opt . weigh
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
pytorch使用时遇到的坑（一）
永远的小白虾的博客
04-25 1万+
遇到了一个这样的错误，terminate called after throwing an instance of ‘c10::Error’ terminate called after throwing an instance of 'c10::Error' what(): CUDA error: device-side assert triggered (record at /pytor...
解决报错：RuntimeError: CUDA error: device-side assert triggered
最新发布
qq_50000922的博客
06-25 1万+
如果下方有提：For debugging consider passing CUDA_LAUNCH_BLOCKING=1.我们可以在代码中import os下添加“os.environ[‘CUDA_LAUNCH_BLOCKING’] = “1””，这样可以保证报错信息提示的位置是准确的。我遇到的问题最终显示是在代码的scatter_函数（torch）中存在映射维度不匹配的情况，映射的目标index有0,1两个位置，但被映射对象对应维度上只有1维，因此报错。
CUDA error: device-side assert triggered
qq_43526879的博客
07-19 363
cuda 训练中产生的错误类型
RuntimeError: CUDA error: device-side assert triggered 问题的解决思路
热门推荐
Penta_Kill_5的博客
06-21 9万+
问题如下： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
解决：RuntimeError: CUDA error: device-side assert triggered
wotianxiu的博客
04-13 2185
[TOC]解决办法：RuntimeError: CUDA error: device-side assert triggered。
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
代码如下: import tornado.ioloop import tornado.web from tornado.httpclient import HTTPClient, AsyncHTTPClient class MainHandler(tornado.web.RequestHandler): # 同步 def get(self): ...
terminate called after throwing an instance of ‘c10::IndexError‘
weixin_43804210的博客
08-19 2539
terminate called after throwing an instance of 'c10::IndexError' what(): select(): index 3 out of range for tensor of size [3] at dimension 0 (select at ../aten/src/ATen/native/TensorShape.cpp:765) frame #0: c10::Error::Error(c10::SourceLocation, std.
pytorch terminate called after throwing an instance of ‘c10::HIPError‘
Learning from the mistakes
05-04 2485
今天在跑PPO程序的时候，出现了下面的错误： terminate called after throwing an instance of 'c10::HIPError' what(): HIP error: hipErrorNoDevice HIP kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging
unhandled cuda error, NCCL version 2.10.3报错解决
a_145133的博客
05-08 2099
这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。之后根据pytorch官网给的命令安装pytorch即可。
terminate called after throwing an instance of 'std::regex_error'
Android/Linux的专栏
02-22 2226
terminate called after throwing an instance of 'std::regex_error' what(): regex_error Aborted c++11代码编译时没有出现问题，运行时出来问题了。在PC上编译运行时还没有问题呢，在ARM上编译运行有上述问题了。网上查了一下，大概是g++版本的问题，PC上是使用的是5.4版本的G++，而ARM上使...
OSError: (External) Nccl error, unhandled cuda error (at /paddle/paddle/fluid/platform/collective_
Learning from the mistakes
11-29 3278
最近使用Paddle运行多卡程序的时候，出现了下面的错误： Traceback (most recent call last): File "train_pairwise.py", line 238, in <module> do_train() File "train_pairwise.py", line 116, in do_train paddle.distributed.init_parallel_env() File "/root/anaconda3/lib
runtimeerror: cuda error: device-side assert triggered
04-30
runtimeerror: cuda error: device-side assert triggered 是 CUDA（Compute Unified Device Architecture）在执行GPU计算时发生了错误的提示。在GPU计算过程中，如果程序发现了不符合预期的操作或者输入，就会触发assert（断言）来中断程序的执行并输出错误提示。 常见的导致runtimeerror: cuda error: device-side assert triggered的原因包括： 1. 内存问题 - 在GPU内存中分配了太多的空间，或在GPU上执行的程序没有释放GPU内存。建议检查代码中内存分配和释放的情况。 2. 计算问题 - 在GPU上执行的程序可能存在错误的计算，例如在浮点计算中做除以0等非法操作。建议检查代码中的计算逻辑。 3. 数据不连续或不规范的情况 - CUDA只支持连续的数据内存，如果数据内存不连续或不在正确的内存位置，会导致assert（断言）触发。 4. 版本不匹配 - CUDA编译器、CUDA驱动程序和CUDA运行库的版本必须匹配。如果版本不同，可能会导致运行错误。 为了解决这个问题，我们需要逐步排除上述可能导致 runtimeerror: cuda error: device-side assert triggered 异常的原因。首先检查代码中的内存管理，确保没有内存泄漏的问题。然后，检查计算逻辑是否正确，并保证传入的数据是规范的。最后，确保CUDA开发环境的版本匹配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

*pprp*

如果有帮助可以打赏一杯咖啡

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值