Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered

最新推荐文章于 2023-02-07 19:48:56 发布
最新推荐文章于 2023-02-07 19:48:56 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kiwi_Fung/article/details/104167926
版权

Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered


tensorflow中写代码麻烦，pytorch写起来简单，但是有发现bug，因为是框架内的问题就无法修改。
在确定output已经使用了sigmoid，确定了label和logits都是[0，1]
BCEloss 在运行时还是可能会爆出题目中的错误。

目前我发现比较合理的解决方案是github

可能是因为optimizer是实现的时候把eps加在了logits或者label上，导致了超了[0,1]，设定eps为0就好了
如果optimizer的eps是fixed的，可以直接在label中的positive值减去对应的eps值即可。

最新update
最好用 BCEwithlogitloss

kiwi_Fung
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CUDA error: device-side assert triggered
jacke121的专栏
03-11 1万+
CUDA error: device-side assert triggered 我这是因为没有归一化，loss为nan了。
pytorch bceloss测试
jacke121的专栏
09-22 4418
个别测试结果： pre t loss 0.6 0.5 0.713 0.4 0.5 0.713 0.5 0.5 0.693 0.5 0.4 0.693 0.5 0.3 0.693 torch bceloss测试 1.越大的情况： 1）x与y两个值差异越大，loss越大， 2）数据集越小，loss越大 3）a与b都接近0.5，loss也不小 4) 两个分布很接近，...
解决cuda error:device-side assert triggered
最新发布
发现问题，并解决问题，批判性思维
02-07 1万+
（1）torch.backends.cudnn.enable =True, torch.backends.cudnn.benchmark = True （2）代码逻辑问题： 1.检查代码，看是否是训练时loss成为nan，可以更换词向量的拼接方式等。 2.如果是分类任务，可能是标签个数不对应，特别是还有`index >= -sizes[i] && index < sizes[i] && “index out of bounds`的提示时。 （3）出现device-side assert triggered的
CUDA error: device-side assert triggered 问题
qq_32473523的博客
06-28 1651
CUDA error: device-side assert triggered 有两种原因： 1 RuntimeError: Given groups=1, weight of size 32 3 3 3, expected input[1, 224, 224, 3] to have 3 chan
报错device-side assert triggered的其中一种解决方案
Coulson_Zhao的博客
07-09 3009
当小错误显示为 Assertion 'indexValue>=0 && indexValue < src.sizes[dim] 时，大多数错误发生在标签的某些设置上超出了数组限制
RuntimeError: reduce failed to synchronize: device-side assert triggered
foolishpeng的博客
05-06 4221
这是最近在跑一个网络结构的时候报错，具体报错内容如下： ​ C:/w/1/s/tmp_conda_3.6_041836/conda/conda-bld/pytorch_1556684464974/work/aten/src/THCUNN/BCECriterion.cu:42: block: [0,0,0], thread: [3,0,0] Assertion `input >= 0. &...
RuntimeError: copy_if failed to synchronize: device-side assert triggered
wlw8023diya的博客
07-30 550
= unsigned int, Real = float, Dims = 2]: block: [168,0,0], thread: [154,0,0] Assertion `indexValue >= 0 && indexValue < src.sizes[dim]` failed. /pytorch/aten/src/THC/THCTensorScatterGather.cu:100: void THCudaTensor_gatherKernel(TensorInfo&lt.
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
pytorch-center-loss：Pytorch实现中心损失
02-05
开始吧克隆此仓库并运行代码$ git clone https://github.com/KaiyangZhou/pytorch-center-loss$ cd pytorch-center-loss$ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息...
Loss_ToolBox-PyTorch:PyTorch实现焦点损失和Lovasz-Softmax损失
05-24
使用Loss_ToolBox-PyTorch时，用户需要先克隆或下载Loss_ToolBox-PyTorch-master压缩包，然后在项目中导入相应的模块，根据具体需求选择使用焦点损失还是Lovász-Softmax损失。通过这种方式，用户可以快速地在自己的...
triplet-loss-pytorch:高效的PyTorch版本的Semi-hard Triplet loss:high_voltage:
03-20
三重态SemiHardLoss PyTorch半硬。基于可在找到的tensorflow插件版本。无需使用此实现来创建暹罗体系结构，就像创建main_train_triplet.py cnn创建过程一样简单！对于具有N_CLASSES >> N_SAMPLES_PER_CLASS的分类...
pytorch-doc-zh：Pytorch中文文档
02-05
组织重建[网站] GitHub Pages（国外）： : Gitee Pages（国内）： ://apachecn.gitee.io/pytorch-doc-zh第三方站长[网站] pytorch中文文档： ://www.bookstack.cn/search/result?wd pytorch地址A：xxx（欢迎留言，...
Pytorch BCELoss和BCEWithLogitsLoss pos_weight
qq_35608277的博客
12-06 1570
BCELoss BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。 https://blog.csdn.net/qq_22210253/article/details/85222093
解决RuntimeError: reduce failed to synchronize: device-side assert triggered问题
Lisen’s blog
04-07 4220
首先，上一波报错信息： /pytorch/aten/src/THC/THCTensorIndex.cu:362: void indexSelectLargeIndex(TensorInfo<T, IndexType>, TensorInfo<T, IndexType>, TensorInfo<long, IndexType>, int, int, IndexTy...
Reduce failed to synchronize: device-side assert triggered .
weixin_40939762的博客
12-12 374
https://blog.csdn.net/xiaoxifei/article/details/89328596 网络的输出要映射到0-1区间内，加一个sigmoid函数就好了。
PyTorch: reduce failed to synchronize: device-side assert triggered
weixin_38424903的博客
01-14 401
device-side assert triggered
pytorch：Reduce failed to synchronize: device-side assert triggered .
ncf的博客
08-06 555
在pytorch中，运行模型经常会出现这个错误，这个bug的来源是BCELoss中输入的张量value的范围必须在[0.0,1.0]之类，而有时候模型的输出是超出这个范畴的，因此BCELoss会报错。可以使用下面的解决这个问题：（强行限制到0-1） outputs[outputs < 0.0] = 0.0 outputs[o...
Pytorch详解BCELoss和BCEWithLogitsLoss
热门推荐
牛哥的博客
12-23 19万+
BCELoss 在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。 先用Sigmoid给这些值都搞到0~1之间： 假设Target是： BCELoss是−1n∑(yn×ln⁡xn+(1−yn)×ln⁡(1−xn))-\frac 1 n\sum(y_n \times \ln x_n+(1-y_n) \times \ln(1-x_n))−n1​∑(yn​×lnxn​+(1−yn​)...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值