解决pytorch中前向传播莫名其妙出现NAN的问题

最新推荐文章于 2023-12-05 11:36:10 发布
最新推荐文章于 2023-12-05 11:36:10 发布
阅读量3.8k 收藏 5
点赞数 4
分类专栏： 机器学习 其他 python 文章标签： cmake 服务器 ssl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41848012/article/details/123856155
版权
python 同时被 3 个专栏收录
31 篇文章 0 订阅
订阅专栏
机器学习
18 篇文章 1 订阅
订阅专栏
其他
11 篇文章 0 订阅
订阅专栏

问题描述

使用pytorch对网络模型进行训练的时候，莫名其妙出现了数据NAN的问题，在反复确认读入数据没有问题（已经归一化），且网络模型加载权重也没问题的情况下，发现这种前向传播出现NAN属于薛定谔现象…即有时候会发生，有时候不发生，甚至使用相同的代码连续对同一个操作进行两次计算后结果第一次是NAN，第二次就正常。。

解决方法

灵感来源：https://discuss.pytorch.org/t/well-formed-input-into-a-simple-linear-layer-output-nan/74720/7
解决方法就是更新numpy！！！

pip install --upgrade numpy

直接更新到最新版本，问题莫名解决了。。

六六六六神
关注
专栏目录
pytorch训练过程中loss出现NaN的原因及可采取的方法
jacke121的专栏
10-03 1万+
在pytorch训练过程中出现loss=nan的情况 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，...
【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失
记录学习痕迹的公众号：Piper蛋窝
06-29 1万+
最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用。
pytorch训练出现nan是什么意思
夏目里奇的博客
01-05 1万+
1.背景 训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。 常见根本来源： a/0 log(0) 空索引 第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断； 第二个常见例子：l
pytorch前向传播网络的学习
qq_27009517的博客
12-24 237
from: https://github.com/yunjey/pytorch-tutorial.git import torch import torch.nn as nn import torchvision import torchvision.transforms as transforms # gpu设备的确定 # Device configuration device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
python神经网络训练损失率nan_训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？——我自己是因为data有nan的坏数据，clear下解决...
weixin_39769183的博客
12-05 687
梯度爆炸原因：梯度变得非常大，使得学习过程难以继续现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了NaN。措施：1. 减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss layer，需要找出哪个损失层导致了梯度爆炸，并在train_val.prototxt中减小该层的loss_weight，而...
深度学习网络出现nan的原因与解决方法总结
琼雪染枫华的博客
04-04 1万+
梯度爆炸 解决方案： 数据归一化（减均值，除方差，加入normalization，如BN，L2 norm） 减少学习率，减小batchsize 加入gradient clipping 网络设计的问题 解决方案： 弱化场景，简化样本，参数采用典型配置，比如10万样本都是一个样本复制的，让网络拟合，如果有问题，则是网络的问题，否则是参数的问题， 网络的问题则需要通过不断加大样本的复杂度和调整网...
tensorflow训练中出现nan问题的解决
12-25
深度学习中对于网络的训练是参数更新的过程，需要注意一种情况就是输入数据未做归一化时，如果前向传播结果已经是[0,0,0,1,0,0,0,0]这种形式，而真实结果是[1,0,0,0,0,0,0,0,0]，此时由于得出的结论不惧有概率性，而是错误的估计值，此时反向传播会使得权重和偏置值变的无穷大，导致数据溢出，也就出现了nan的问题。 解决办法： 1、对输入数据进行归一化处理，如将输入的图片数据除以255将其转化成0-1之间的数据; 2、对于层数较多的情况，各层都做batch_nomorlization; 3、对设置Weights权重使用tf.truncated_normal(0, 0.01, [
神经网络出现NAN的个人见解
沉香屑_的博客
05-31 1万+
出现原因 学习率较大，若此时反向传回来的梯度也很大的时候，参数可能会更新的非常大，倘若不幸，飞成Inf，前向传播求loss的时候，会报NAN。解决方法调小学习率。 某些batch的数据产生过大的梯度，解决方法采用梯度裁剪、数据归一化。 数据出错，网络中出现log0、除以0等不正常的操作。 【个人认为1、2是互相依赖的，若梯度很大但学习率比较小的话，参数更新值会因为学习率较小而变小，减少NAN...
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
解决pytorch 交叉熵损失输出为负数的问题
09-16
适当调整网络的宽度（比如增加隐藏层的神经元数量）可能有助于解决问题。 3. **层间学习率调整**：PyTorch允许为每个层设置不同的学习率。如果问题出在特定层，可以尝试降低这些层的学习率。 4. **数据预处理**：...
深度学习八股文：模型出nan怎么办
m0_38086244的博客
11-24 1486
如果以上步骤仍然无法解决问题，可能需要更深入地检查模型的架构、损失函数的定义以及训练数据的特性，以确定是哪一部分引发了 NaN 的问题。当模型在训练过程中的前向传播中产生 NaN（Not a Number）时，这通常表明模型在某一步骤的计算中出现了数值不稳定性的问题。如果模型在梯度更新时出现爆炸性梯度，可以考虑使用梯度裁剪，限制梯度的范围，以防止梯度过大导致数值不稳定。在模型的计算中，使用数值稳定性的操作，例如使用稳定的数学函数（如。检查模型结构，确保没有数值不稳定的操作。，来检查梯度计算是否正确。
pytorch 生成结果为NAN值
pp2373886592的博客
01-22 1766
原因：计算loss时，使用了torch.sqrt()，而输入参数中包含0，导致梯度爆炸 解决方法：去掉torch.sqrt()或保证该函数输入参数不含0
模型训练 出现NaN的原因以及解决方法
最新发布
码农研究僧的博客
12-05 5235
学习率过高： 过大的学习率可能导致权重更新过大，使得权重变得非常大或非常小，从而导致数值不稳定性。梯度爆炸： 当反向传播过程中的梯度变得非常大时，权重更新可能会导致数值不稳定。这通常与深度神经网络中的梯度消失/爆炸问题有关。数值不稳定的激活函数： 某些激活函数在输入值很大或很小的情况下可能产生数值不稳定性。例如，Sigmoid函数在输入值非常大或非常小时可能会返回饱和的输出，导致梯度接近于零。数据预处理问题： 数据中的异常值或不稳定性可能导致网络在处理这些值时出现数值问题。
pytorch训练过程中出现NAN问题复盘
weixin_44398263的博客
01-05 4712
pytorch训练过程中出现NAN问题复盘
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 5万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
模型训练过程中产生NAN的原因分析
dong_liuqi的博客
07-29 1万+
模型训练过程中产生NAN的原因分析 在模型的训练过程中发现，有时在经过多轮训练后loss会突然变为nan。loss变为nan也就使权重更新后的网络里的参数变为了nan，这样就使整个训练无法再进行下去了。 1. nan的来源 从调试情况来看nan出现的顺序是：loss的梯度 --> 网络的参数 --> 预测的结果 --> loss本身。 注意，第一个出现问题的应该是loss的梯度。 2. 可能1：torch.sqrt() 一般sqrt函数的定义域为：[0,无穷大) torch.sqrt()的
模型训练过程中出现Nan该怎么办？
dlhlSC的博客
05-04 4393
导语在深度学习模型训练过程中，有时会出现损失值为Nan的情况。那么在训练过程中发生Nan的最常见原因是什么？其次，有什么方法可以解决这个问题？01无效输入原因：输入中包含Nan或者输入为空，对于图像而言输入为损坏的图片。 检查方法：使用python的异常检测机制对数据进行合格检测解决方法：修改代码满足输入为有效的数据，比如在检查过程中先删除受损的图片。02损失函数原因：有时损耗函数的计算会导致Nan的出现。例如给InfogainLoss层提供非归一化的值或者使用有bug的自定义损失层等。检查方法：
训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？——我自己是因为data有nan的坏数据，clear下解决...
djph26741的博客
03-19 2519
from:https://www.zhihu.com/question/49346370 Harick 梯度爆炸了吧。 我的解决办法一般以下几条：1、数据归一化（减均值，除方差，或者加入normalization，例如BN、L2 norm等）；2、更换参数初始化方法（对于CNN，一般用xavier或者msra的初始化方法...
反向传播时出现NaN
caicai的博客
09-26 1736
症状：前向计算一切正常、梯度反向传播的时候就出现异常，梯度从某一层开始出现Nan值（Nan: Not a number缩写，在numpy中，np.nan != np.nan，是唯一个不等于自身的数）。 フォワードの計算に異常なしでも、その模型の変量をアプデートする時に異常な数字が出る。Pythonのプログラムにあるなら、Nanというもの現れることです。 根因：原因目前遇到的分为两种，其一——你使用了power(x, a) (a < 1)这样的算子，因为power函数这样的算子，在梯度反向传播阶段时，求
pytorch 前向传播
08-30
PyTorch中的前向传播是指将输入数据通过神经网络模型，从输入层经过各个隐藏层，最终到达输出层的过程。在PyTorch中，我们可以通过定义一个继承自`torch.nn.Module`的网络类来构建神经网络模型。 在这个网络类中，我们需要实现`forward`方法，该方法会接收输入数据作为参数，并按照网络的结构将其传递到下一层。在`forward`方法中，我们可以使用PyTorch提供的各种层（如全连接层、卷积层等）来定义网络的结构。 以下是一个简单的例子，展示了如何在PyTorch中进行前向传播： ```python import torch import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 2) def forward(self, x): x = self.fc1(x) x = torch.relu(x) x = self.fc2(x) return x # 创建一个模型实例 model = MyModel() # 生成随机输入数据 input_data = torch.randn(1, 10) # 将输入数据传递给模型进行前向传播 output = model(input_data) print(output) ``` 在上面的例子中，我们首先定义了一个名为`MyModel`的网络类，其中包含两个全连接层。在`forward`方法中，我们首先将输入数据`x`传递给第一个全连接层`fc1`，然后使用ReLU激活函数作用于输出结果。接着，将激活后的结果传递给第二个全连接层`fc2`，最终得到模型的输出。我们可以通过调用模型实例的方式来进行前向传播，将输入数据传递给模型，得到输出结果。 希望这个例子能帮助你理解PyTorch中的前向传播过程！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值