Torch 和 Numpy 出现NAN解决方法

最新推荐文章于 2024-05-21 23:03:02 发布
最新推荐文章于 2024-05-21 23:03:02 发布
阅读量6.4k 收藏 8
点赞数 2
分类专栏： Pytorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forrest97/article/details/113090756
版权

在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。
所以在网络训练过程中需要对NAN进行检测和处理。

NAN检测

如果只是一个简单的标量，直接使用isnan进行判据

torch.isnan(loss)

如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0

torch.isnan(loss).int().sum()
最低0.47元/天 解锁文章
老光头_ME2CS
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch nan解决方法笔记
jacke121的专栏
10-03 5204
自己研究出来了：分子分母同时为0的时候，会报异常NaN import torch a=torch.zeros(1) b=torch.zeros(1,requires_grad=True) print(b/0) During the training, the loss is Nan. The loss function is Torch.nn.CrossEntropyLoss. So...
pytorch nan问题
星之所望的博客
02-25 918
pytorch nan 判断方法： if torch.isnan(tmploss): 解决方法： loss_t_conf=0 if target[target ==1].size()>torch.Size([0]): loss_t_conf = self.bce_loss(out[target ==1], target[target ==1])...
stable-diffusion-webui出现NansException: A tensor with all NaNs was produced in Unet
最新发布
深蓝
05-21 1137
sd-webui运行出现，NansException: A tensor with all NaNs was produced in Unet问题解决方法
判断是否出现nan值
星星超幸运的博客
11-01 295
在nan处结果不相等，是False。这就达到了判断目的。自己写神经网络和损失函数，真的非常容易出现nan值。判断方法：变量==变量。
pytorch中torch.isnan()和torch.isfinite()
学无止境、积少成多、厚积薄发
10-28 9167
今天看代码看到的这两个函数，不多数废话，直接上Demo： 1.先来研究torch.isfinite() import torch num = torch.tensor(1) # 数字1 res = torch.isfinite(num) print(res) ''' 输出： tensor(True) ''' 这个num必须是tensor import torch num = torch.tensor(float('inf')) # 正无穷大 res = torch.isfinite(num) print
pytorch训练出现nan是什么意思
热门推荐
夏目里奇的博客
01-05 1万+
1.背景 训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。 常见根本来源： a/0 log(0) 空索引 第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断； 第二个常见例子：l
torch数组计算出现NAN
gray___的博客
12-11 1375
torch数组计算出现NAN
一次pytorch中出现的nan问题
qq_38507163的博客
12-14 4498
nan排查 最近调试代码时，发现一个loss全部变为nan。网上主流的解释大多千篇一律，比如 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target ... 我这儿问题可以确定，是由于数学运算造成的nan。最后具体定位到，是由于一个池化操作造成的。在pycharm中单步调试，使用如下表达式判断x中是否有nan，因为nan==nan
torch.isfinite()、torch.isinf()、torch.isnan()
weixin_43102043的博客
05-05 1196
torch.isfinite(tensor) 判断是否有界 torch.isinf(tensor) 判断是否无穷 torch.isnan(tensor) 判断是否为空 以上三个函数都返回 bool 类型的mask 举例说明： arr = torch.tensor((float('inf'), float('-inf'), float('nan'))) mask1 = torch.isfinite(arr) tensor([False, False, False]) mask2 = torch.isi
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 7443
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
Pytorch tensor避免nan解决办法
weixin_38076506的博客
02-17 7021
使用pytorch处理数据运算是，如矩阵涉及乘除法，如矩阵中存在nan数据，则结果中存在nan，解决方案是使用torch.where()将nan值替换为0或其他值： torch.where(torch.isnan(a), torch.full_like(a, 0), a)
torch.isinf()、torch.isnan()、torch.isfinite()使用详解
weixin_46286008的博客
05-05 2010
（返回与输入张量大小相同的张量），是无穷大则为True，否则为Flase。（返回与输入张量大小相同的张量），是NAN则为True，否则为Flase。（返回与输入张量大小相同的张量），是有限值则为True，否则为Flase。这里需要注意一下，传入三个函数的值必须为tensor类型。（3）torch.isfinite()，判断输入张量。（1）torch.isinf()，判断输入张量。（2）分别打印三个函数的返回值。有限值、无穷大、NAN。每个元素是否为无穷大。每个元素是否为有限值。
梯度裁剪中的NaN值处理 - 深入探究torch.nn.utils.clip_grad_norm_和torch.nn.utils.clip_grad_value_
C_C666的博客
12-26 1865
在深度学习中，梯度裁剪是一种常用的技术，用于防止训练过程中梯度爆炸的问题。PyTorch提供了两个梯度裁剪函数 - torch.nn.utils.clip_grad_norm_ 和 torch.nn.utils.clip_grad_value_。本博客将深入探讨这些函数的计算方法，以及它们如何处理梯度中的NaN值。
torch 训练过程中nan问题
liu100286的博客
01-27 1816
事情的过程: 某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改，结果在我那显卡上竟然内存不足，抛出异常。没办法，把input batch调低点吧。ok跑起来了。 几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊！！！再检测一下数据,也没出现数据异常的情况。。。百度吧。。。 一番百度过后，尝试了调整 学习率，更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明，没发现有什么特别需要
fillna()函数
fatenone的博客
08-06 319
fillna()函数 转载自链接
（快速搞懂）Pytorch中的nan和inf有什么区别？
qq_43391414的博客
01-01 4297
inf是一个数字，表示正无穷大，相应的，有-inf。由于是数字，所以可以和其他数字比较大小。产生原因：数字太大，计算机无法表示。我们发现，有的时候，我们使用torch计算一通之后，有的时候得到的是nan，有的时候得到的inf，这是什么鬼？开门见山，nan不是一个数字，因此没有正负概念，和其他数字比较也没有意义。注意：nan由于不是数字，因此任何后续数学运算都会是nan。注意，其是一个数字，因此，可以作为一个数字继续参与后续运算。成功，大家可以试一试，如果b为nan是无法参加后续运算的。
pytorch 生成结果为NAN值
pp2373886592的博客
01-22 1729
原因：计算loss时，使用了torch.sqrt()，而输入参数中包含0，导致梯度爆炸 解决方法：去掉torch.sqrt()或保证该函数输入参数不含0
pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决
小欧欧的博客
11-11 8137
今天写一个loss函数 dist=torch.sqrt(x*x+y*y) loss=soomthL1loss(dist,gt_dist) 我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 解决办法： 1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！ 2、tor...
更新torch和numpy的指令
05-26
要更新torch和numpy，您可以在命令行中使用以下指令： 更新torch： ``` pip install torch --upgrade ``` 更新numpy： ``` pip install numpy --upgrade ``` 请注意，这些指令可能因操作系统和Python版本而有所...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值