torch数组计算出现NAN

已于 2022-12-11 15:41:40 修改
阅读量1.3k 收藏
点赞数
分类专栏： 胖琦的pytorch 文章标签： 深度学习 人工智能 计算机视觉
于 2022-12-11 15:24:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gray___/article/details/128275187
版权

在torch中零除零不会报错，结果会是NaN。

比如

a = torch.tensor([0,0])

a/a

output: tensor([nan])

PS: 这个白痴问题我想了好久，最后还是靠print才解决。没想到这里是因为平常如果除零的话是会报错的，但是在numpy里会提醒，torch里不提醒。解决办法就是a.clamp(1e-4)

胖琦今天也在摸鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失
记录学习痕迹的公众号：Piper蛋窝
06-29 1万+
最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用。
pytorch训练出现nan是什么意思
夏目里奇的博客
01-05 1万+
1.背景 训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。 常见根本来源： a/0 log(0) 空索引 第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断； 第二个常见例子：l
pytorch训练过程中出现nan的排查思路
热门推荐
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
如何查找解决torch_lightning训练输出出现nan的问题
qq_43210957的博客
06-19 577
简单的bug解决方法
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 7368
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
Pytorch训练过程出现nan的解决方式
09-18
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
torch-1.0.0
06-01
其次，Torch 1.0.0引入了Tensor库，这是一个强大的多维数组对象，支持广泛的数学运算。Tensors是构建神经网络的基本元素，可以在CPU和GPU上无缝运行。此版本对Tensor的API进行了改进，使其更符合Python用户的习惯，...
torch-geometric 1.6.1依赖库
11-29
torch-geometric 1.6.1在安装使用过程中，必要的四个安装包，torch-cluster、pytorch-scatter、torch-sparse、pytorch-spline-conv，均为whl文件。
torch1.7.zip
01-26
标题中的"torch1.7.zip"表明这是一个包含PyTorch版本1.7的压缩包，特别为树莓派4B优化。PyTorch是一个流行的开源机器学习库，它提供了动态计算图功能，使得构建和训练神经网络变得简单易行。在Python环境中，它常被...
Torch 和 Numpy 出现NAN解决方法
Forrest97的博客
01-24 6425
在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。 所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测 如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i
SA-SSD训练过程出现nan
如有侵权，请联系作者删除
09-07 759
Pytorch训练过程出现nan 使用SA-SSD算法，训练velodyne-16线点云数据，但是训练过程中损失值loss=nan，困扰良久… 经过搜集资料发现Pytorch训练过程出现nan的情况为以下几种： 1、学习率太大，但是样本数据集又很小。 2、自定义的loss除以了一个很小的数字，小到接近0。 3、数据不干净，数据本身就有nan，可以用numpy.isnan检查。 4、target，即label是大于等于0的。从1到类别数目-1变化。 既然找到了解决可能出现问题的地方，接下来就是逐个排查问题了。
pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决
小欧欧的博客
11-11 8119
今天写一个loss函数 dist=torch.sqrt(x*x+y*y) loss=soomthL1loss(dist,gt_dist) 我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 解决办法： 1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！ 2、tor...
torch 训练过程中nan问题
liu100286的博客
01-27 1813
事情的过程: 某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改，结果在我那显卡上竟然内存不足，抛出异常。没办法，把input batch调低点吧。ok跑起来了。 几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊！！！再检测一下数据,也没出现数据异常的情况。。。百度吧。。。 一番百度过后，尝试了调整 学习率，更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明，没发现有什么特别需要
torch.Tensor和torch.tensor
qq_40167046的博客
11-29 1227
IN:torch.tensor([2.,3.2]) Out: tensor([2.0000, 3.2000]) IN:torch.Tensor(2,3) Out:tensor([[-7.5731e-29, -2.7648e+38, nan], [ 4.0672e-31, 2.4467e-12, 4.0995e-39]]) 注意：小写tensor一般用于接受实际类型。大写Tesnor用于接受shape类型，虽然可用于接受list但为了便于区别和记忆，常用tensor代替
解决输出为nan的问题
t20134297的博客
11-07 9951
在训练网络的时候，发现输出全都是nan，这个时候很大可能是数值不稳定，比如除数太小，不稳定，或者是log里面的参数太小，不稳定，这个时候在可能出现运算不稳定的地方增加一些稳定系数就好了，比如： 1.在分母的位置增加一个稳定数 exp_st_sum = exp_st_with_target.sum(dim=1, keepdim=True) + 1e-6 exp_st_rate = exp_st_with_target / exp_st_sum 2.在log里增加稳定系数 loss_gt
梯度裁剪中的NaN值处理 - 深入探究torch.nn.utils.clip_grad_norm_和torch.nn.utils.clip_grad_value_
最新发布
C_C666的博客
12-26 1771
在深度学习中，梯度裁剪是一种常用的技术，用于防止训练过程中梯度爆炸的问题。PyTorch提供了两个梯度裁剪函数 - torch.nn.utils.clip_grad_norm_ 和 torch.nn.utils.clip_grad_value_。本博客将深入探讨这些函数的计算方法，以及它们如何处理梯度中的NaN值。
Pytorch tensor避免nan解决办法
weixin_38076506的博客
02-17 7002
使用pytorch处理数据运算是，如矩阵涉及乘除法，如矩阵中存在nan数据，则结果中存在nan，解决方案是使用torch.where()将nan值替换为0或其他值： torch.where(torch.isnan(a), torch.full_like(a, 0), a)
torch.clamp()
anshiquanshu的专栏
06-08 680
源于FocalLoss.py损失函数中返回的loss起初是inf, 后续就前篇一律的nan, debug的结果发现代码里出现了probs = log(0), 这不就是出现inf的根源吗? 此处先给出大神的FocalLoss.py,
torch 数组转换为tensor
05-01
PyTorch是一个非常流行的深度学习框架，它提供了许多方便的函数和类来进行张量操作。其中，将NumPy数组转换为PyTorch中的张量tensor是很常见的操作。 首先，需要导入torch和NumPy库。例如，可以使用以下代码： ```python import torch import numpy as np ``` 然后，可以使用torch.from_numpy()函数将NumPy数组转换为tensor。例如，有一个名为“arr”的NumPy数组，可以使用以下代码将其转换为PyTorch张量： ```python arr = np.array([1, 2, 3]) t = torch.from_numpy(arr) ``` 这将创建一个形状为(3,)的一维张量t，它包含NumPy数组中的所有元素。可以使用print()函数检查张量的内容： ```python print(t) ``` 输出就会是： ```python tensor([1, 2, 3], dtype=torch.int32) ``` 需要注意的是，torch.from_numpy()函数不会创建一个新的张量对象，而是返回一个已存在的NumPy数组的视图。因此，修改原始NumPy数组的值也会反映在张量上，反之亦然。 ```python arr[0] = 100 print(t) ``` 输出： ```python tensor([100, 2, 3], dtype=torch.int32) ``` 除了torch.from_numpy()外，还可以使用torch.tensor()函数创建张量。这个函数可以接收任何Python序列、NumPy数组或其他PyTorch张量，并在必要时进行类型和形状转换。例如： ```python arr = [[1, 2], [3, 4]] t = torch.tensor(arr) ``` 这将创建一个形状为(2, 2)的张量t，其中包含二维NumPy数组中的所有元素。需要注意的是，torch.tensor()创建一个新的张量对象，因此与原始数组没有关联。 总之，将NumPy数组转换为PyTorch张量是一个简单而有用的操作，可以轻松地在PyTorch应用程序中使用NumPy数组。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值