PyTorch关于RuntimeError: copy_if failed to synchronize: device-side assert triggered问题

最新推荐文章于 2024-05-13 10:42:06 发布
原创 最新推荐文章于 2024-05-13 10:42:06 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了在PyTorch中遇到的RuntimeError: copy_if failed to synchronize: device-side assert triggered错误，主要出现在损失计算处，由于矩阵运算产生过大或过小值导致数值越界。文章提供了检查损失函数、矩阵、调整学习率等解决方案。

报错内容

RuntimeError: copy_if failed to synchronize: device-side assert triggered

情况说明

本人遇到的这个问题主要是出现在损失计算处，由于损失计算时，矩阵运算产生了过大（INF）或者过小值（NAN），而使得数值越界断言触发。

个人解决方法

请检查以下几方面：

  1. 损失函数计算方法是否存在问题，特别是有除法运算、浮点数运算等，比如 1.05/0 这种问题；
  2. 进行损失计算的矩阵是否有问题；
  3. 是否可以考虑调整一下学习率；

ps：如果不是损失函数问题，可以贴一下问题，互相学习一下！

copy_if failed to synchronize
jacke121的专栏
04-01 2336
copy_if failed to synchronize 网上的说法： 这个问题是我在使用SSD做目标检测时遇到的，我要检测的目标有5种类别，所以我在data/config.py中的num_classes参数写了5，经过多方查找，发现了一个没注意到的细节，类别应该是5+1，那个1应该是背景。 还有一个原因就是标签的标号没有从0开始。 但是我这做的是单分类，用的bceloss，我也用了sigmoid ，再看看 尝试执行时： 如果torch.nonzero(gt_class...
RuntimeError: copy_if failed to synchronize: device-side assert triggered
wlw8023diya的博客
07-30 665
= unsigned int, Real = float, Dims = 2]: block: [168,0,0], thread: [154,0,0] Assertion `indexValue >= 0 && indexValue < src.sizes[dim]` failed. /pytorch/aten/src/THC/THCTensorScatterGather.cu:100: void THCudaTensor_gatherKernel(TensorInfo&lt.
Loss.cu:97，RuntimeError: copy_if failed to synchronize: cudaErrorAssert: device-side assert triggere
Jiiny_Li的博客
07-28 1371
服务器：Ubuntu18， 环境：python3.6，pytorch 报错信息 /opt/conda/conda-bld/pytorch_1591914838379/work/aten/src/ATen/native/cuda/Loss.cu:97: operator(): block: [0,0,0], thread: [31,0,0] Assertion input_val >= zero && input_val <= one failed. Traceback (most
RuntimeError: reduce failed to synchronize: device-side assert triggered
foolishpeng的博客
05-06 4289
这是最近在跑一个网络结构的时候报错，具体报错内容如下： ​ C:/w/1/s/tmp_conda_3.6_041836/conda/conda-bld/pytorch_1556684464974/work/aten/src/THCUNN/BCECriterion.cu:42: block: [0,0,0], thread: [3,0,0] Assertion `input >= 0. &...
RuntimeError reduce failed to synchronize cudaErrorAssert device-side assert triggered
cicylee的专栏
10-12 2330
RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered 运行基于Unet的CrackForest代码时，出现该错误。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c2DA76xx-1602472447490)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1602471396648.pn
【RuntimeError: unique_by_key: failed to synchronize】问题解决
kao_lengmian的博客
03-22 819
pytorch训练时，提示错误：RuntimeError: unique_by_key: failed to synchronize: cudaErrorAssert: device-side assert triggered。可以看看config文件中设置的类别数目与数据中实际的类别数目是否一致。问题比较基础，但是报错很多同学不知道是哪里触发的，所以记录一下。
【Pytorch】RuntimeError: copy_if failed to synchronize: cudaErrorAssert: device-side assert triggered
qq_36148333的博客
05-20 1441
出现这个错误， 就把代码从gpu转为在 cpu上运行！！！ 这样可以看到真正的错误！！！
pytorch报RuntimeError: copy_if failed to synchronize: device-side assert triggered
热门推荐
修炼之路
07-11 2万+
在使用pytorch训练的时候提示RuntimeError: copy_if failed to synchronize: device-side assert triggered错误 有两个方法可以尝试去解决一下： 1.尝试减少学习率试试看能不能解决这个问题，如果不能，请看第二种方法 2.看看config文件中设置的类别数目与数据中实际的类别数目是否一致，注意对于目标检测需要根据实际的类别...
001_在ssd.pytorch网络上训练自己的数据集，出现报错RuntimeError: copy_if failed to synchronize: device-side assert trig
weixin_44279924的博客
03-02 677
在ssd.pytorch网咯中训练自制的数据集，只训练一类，在voc0712.py脚本下更改数据集类别，图片中注释的部分是原来VOC数据集部分的代码，将里面的类别改成自己的后，因为我只训练一类，所以在括号外面再加一个中括号，解决untimeError: copy_if failed to synchronize: device-side assert trig报错的问题。 ...
RuntimeError: copy_if failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was e
zjh12312311的博客
12-24 2240
pytorch 报错： RuntimeError: copy_if failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered 我的出错原因是输入数据忘记加.to(device)或.cuda()
RuntimeError: transform: failed to synchronize: cudaErrorAssert: device-side assert triggered
m0_46368408的博客
11-11 1011
【代码】RuntimeError: transform: failed to synchronize: cudaErrorAssert: device-side assert triggered。
pytorch runtimeError:cuda runtimeerror(59):device-side assert
yuan
12-10 1142
you should think wether your label is right
RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered
河山入梦来的博客
06-04 7797
  今天在使用pytorch跑模型时遇到了这么一个问题，主要的报错信息包括： RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered Assertion `input >= 0. && input <= 1.` failed.   xiaoxifei在他的博客中解释了这个问题，链接: link.   我在这就不赘述原理，给大家说说我遇到的一个具体情况，
【已解决】RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous
最新发布
dont worry about it的博客
05-13 9万+
报错： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_US
（已解决）RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors
qq_43391414的博客
11-02 1万+
报错原因： 大概率是因为：代码有地方数组越界。盲猜是在交叉熵损失函数那里，反正我是在这里。 小概率是其他原因。不过，下面的解决办法是通用的。 解决办法： 先device=“cpu”，运行一遍，可以定位到数组越界的地方，修改代码。保证正确了之后再放在GPU上跑。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值