训练网络交叉熵loss突然出现nan的情况

最新推荐文章于 2024-04-23 19:53:34 发布
最新推荐文章于 2024-04-23 19:53:34 发布
阅读量1.5k 收藏 1
点赞数 2
分类专栏： 学习笔记 文章标签： 深度学习
原文链接：https://blog.csdn.net/shwan_ma/article/details/80472996
版权

尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。
在tensorboard上显示如下：
在这里插入图片描述
可以看到在最后面的accuarcy突然下降。一开始百思不得其解，
原因其实在于交叉熵中的 y_truth * log(y_predict)
log(0) * 0的时候， 则会出现NaN，
一旦出现这个情况，网络训练结果必然完蛋

解决办法其实也很简单：
在交叉熵的公式中加入一个比较小的数： 在这里插入图片描述

Jeanshoe
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
关于交叉熵损失函数的产生NaN的问题
qq_43635122的博客
11-14 4941
常用交叉熵损失函数，常代替均方差损失函数用于分类 loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1)) 但有时用softmax激活的上面的pred，使pred=0或很接近0，导致log（0）值为NaN，造成训练时数据不稳定。 改用结合softmax交叉熵损失函数 loss_functi...
四、虚拟机字节码执行引擎
qq_32323239的博客
09-22 368
运行时栈帧结构 Java虚拟机以方法作为最基本的执行单元，“栈帧”（Stack Frame）则是用于支持虚拟机进行方法 调用和方法执行背后的数据结构，它也是虚拟机运行时数据区中的虚拟机栈（Virtual Machine Stack）[1]的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息和一些额外的附加信息。 局部变量表 局部变量表（Local Variables Table）是一组变量值的存储空间，用于存放方法参数和方法内部定义 的局部变量。在Java程序被编译为.
深度学习网络训练，Loss出现Nan的解决办法
最新发布
不要给自己设限，尝试更多可能（思所向 皆可往）
04-23 1668
模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。一、原因如果在迭代的100轮数以内，出现NaN，一般情况下的原因是你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
训练神经网络交叉熵loss变为NaN的解决办法
qq_32464407的博客
01-26 8635
最近继续在用MNIST跑一些简单的MLP玩，发现当把隐节点数从300提高到1000之后训练loss就变成了全程NaN,在网上搜了搜发现原因因为交叉熵loss中用到了log函数，当输入为0时就会出现NaN。一个直接的结局方法是在log的输入中加上一个非常小的数（e.g. 1e-10）。不过如此修改之后，我发现测试loss虽然不是NaN了，却变成了始终振荡，原因是学习率过大所导致的，将学习率调低一个数
pytorch crossentropy为nan
怡宝2号
08-22 5750
**问题：**用pytorch的crossentropy做损失函数的时候，迭代几步之后loss为nan。 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 参考解决方案 在pred_x上加一个很小的量，如1e-10 loss = crossentropy(o...
tensorflow下怎么解决语义分割交叉熵损失总是nan
jinbeibei0606的博客
05-06 1647
本次训练一个带有语义分割任务的网络，发现语义分割的交叉熵损失一直是nan，而且是从刚开始迭代就是nan，检查了网络一直没发现问题，学习率调小也不起作用，推测是损失函数计算中log传入了０，考虑到用的激活函数是tanh，会产生0值，所以考虑将激活函数换成不带０的sigmoid函数，换完之后发现立马就是正常损失值开始迭代了...
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
记录模型训练时loss值的变化情况
09-16
在机器学习和深度学习中，模型训练是一个关键的过程，其中loss值的变化情况是对模型性能的直接反映。损失(loss)函数衡量了模型预测结果与实际目标之间的差距，是优化过程的核心指标。本文主要讨论如何记录和分析模型...
keras做CNN的训练误差loss的下降操作
09-16
在使用Keras构建卷积神经网络（CNN）时，训练误差(loss)的下降是一个关键问题。本篇文章将探讨如何在Keras中优化CNN的训练过程，以降低损失并提高模型性能。 首先，针对训练误差(loss)无法下降的问题，可能是由于...
在keras中实现查看其训练loss值
09-16
在Keras中，查看训练loss值是监控模型训练过程中的关键步骤，它能帮助我们了解模型的学习情况和潜在问题。Keras提供了方便的方法来记录和展示训练期间的损失(loss)和其他指标。以下是如何在Keras中实现这一功能的...
caffe训练网络时loss突然增大并维持在86.3333333的问题解决
lwei的专栏
08-26 5359
loss一直维持在83.33333
训练model过程中，loss=nan问题时该怎么解决？
u011630472的博客
08-08 905
当我在UCF-101数据集训练alexnet时，epoch设为100，跑到三十多个epoch时，出现了loss=nan问题，当时是一脸懵逼，在查阅资料后，我通过减小学习率解决了问题，现总结一下出现这个问题的可能原因及解决方法： 1. 减小整体学习率。学习率比较大的时候，参数可能over shoot了，结果就是找不到极小值点； 减小学习率可以让参数朝着极值点前进； 2. 改变网络宽度。有可能是网络后面的层参数更新异常，增加后面层的宽度试试； 3. 改变层的学习率。每个层都可以设置学习率，可以尝试减小后...
深度学习网络模型训练中loss为nans的总结
神秘少年的博客
06-18 4225
在网络训练中经常出现loss为nans的情况。 主要原因有如下： 梯度爆炸 原因：巨大的梯度值使model的学习过程off-track。 检测方法：查看运行时日志，您应该查看每个迭代的损失值。您会注意到，损失开始从迭代到迭代显著地增长，最终损失将太大，无法用浮点变量表示，它将成为nan。 措施：减少base_lr (在solver.prototxt中) 至少一个数量级。如果mod
模型训练中出现NaN Loss的原因及解决方法
豆芽菜
05-23 1万+
1 梯度爆炸 原因：学习的过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察每次迭代的loss值，会发现loss明显增长，最后因为loss值太大以至于不能用浮点去表示，所以变成了Nan。 可采取的措施：1 降低学习速率，2 如果模型中有多个loss层，就需要找到梯度爆炸的层，然后降低该层的loss weight。 2 学习率过高 原因：过高的学习率乘上所有的梯度使得所有参数变成无效的值。 症状：观察输出日志，会发现学习率变成nan 可采取的措施：设置合适的学习速率 3 损失函数
pytorch 交叉熵损失 出现nan
junjian Li
05-15 1506
1. 问题描述 代码如下: norm_ff = ff / (ff**2).sum(0, keepdim=True).sqrt() coef_mat = torch.mm(norm_ff.t(), norm_ff) coef_mat.div_(self.tau2) L_fd = F.cross_entropy(coef_mat, y) 这是因为计算图中存在.sqrt()，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 2. 解决方法 2.
Tensorflow建立深度神经网络时出现nan及交叉熵损失函数的探讨
小白白的博客
01-07 1454
（作者：陈玓玏） 在使用tensorflow建立深度神经网络的过程中，在几次迭代之后发现所有的权重都变为了nan，导致整个网络都无法正常工作。出现这个问题我知道的可能有以下两个原因。 1） 样本未进行归一化 因为每次迭代都要计算σ(x∗ω+b)\sigma(x*\omega+b)σ(x∗ω+b)，而深度神经网络的参数众多，如果样本不进行归一化，很容易出现x∗ω+bx*\omega+bx∗ω+b溢出...
记记关于tensorflow训练模型时出现损失函数为NAN问题
u013732444的博客
06-16 1万+
交叉熵损失函数输出NAN的问题： 之前使用tensorflow训练模型，开始的一段迭代周期，模型的预测准确率一直在上升，徘徊一段时间后，准确率骤减，直至到随机猜测的水平，开始以为是模型出了问题，就修改了一下代码，记录训练过程中的误差，希望通过误差曲线，分析是否模型的问题。结果绘图出错，将损失数组输出看了一下，发现后期的损失值都是0。在网上查询，发现是损失函数的特性造成的，在交叉熵损失函数中，会计
tensorflow在训练的时候权重是nan，如何解决
热门推荐
AlphaHolo的博客
03-24 1万+
昨天在实验室和师妹一起搭建最普通的卷积CNN网络，在其中遇到了一些问题。聪明的师妹解决了这个问题。因为这个问题是大家在学习tensorflow的时候容易忽略掉的，因此将这个问题分享给大家，共勉！ nan表示的是无穷或者是非数值，比如说你在tensorflow中使用一个数除以0，那么得到的结果就是nan。 在一个matrix中，如果其中的值都为nan很有可能是因为采用的cost func
python神经网络训练中loss突然从1000变成nan
05-10
在神经网络训练过程中，出现loss突然从一个较大的数变成nan的情况，通常是由于数值计算溢出或者出现了无穷大的情况。 可能的原因包括： 1. 输入数据中出现了nan或inf。 2. 学习率设置过大，导致更新过程中数值溢出。 3. 模型中存在某些数值或参数出现nan或inf。 对于这种情况，可以尝试以下几种方法： 1. 检查数据是否存在nan或inf，如果存在，需要进行数据清洗或者处理。 2. 调整学习率，降低学习率的大小。 3. 检查模型中的参数是否出现nan或inf，如果出现需要进行修改或者重新初始化。 4. 尝试使用数值稳定的损失函数，如sigmoid_cross_entropy_with_logits等。 5. 尝试使用数值稳定的优化器，如Adam等。 总之，当出现loss突然从一个较大的数变成nan的情况，需要仔细检查数据、模型和优化器，以确定具体原因，并采取相应的措施进行修正。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值