深度学习训练中loss函数出现Nan(作者小白，已解决)

最新推荐文章于 2024-06-11 10:14:44 发布
最新推荐文章于 2024-06-11 10:14:44 发布
阅读量1.4k 收藏
点赞数 1
文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52428078/article/details/120802240
版权
本文讲述了作者初次使用深度学习解决鸢尾花数据集时，尝试借鉴MNIST经验加入Dropout层以防止过拟合，却意外遇到loss函数变为NaN的问题。经过排查和学姐指点，发现问题出在输出层后叠加Dropout的影响。
摘要由CSDN通过智能技术生成

在用深度学习解决鸢尾花数据集时（第一次写），超参数是根据mnist手写数据集借鉴的，偶然学到Dropout可以调节过度拟合，直接加了进去，发现loss函数为Nan(上图)

上网查半天，调loss函数，优化器等，后来一度以为是数据错误。

最后经学校学姐解答：输出层后加了Dropout层，导致loss：nan

 

代码丶小白
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从零开始学自然语言处理-十万字长文带你深入学习自然语言处理全流程
wenyusuran的专栏
09-12 3015
前言 内容会涉及自然语言处理的各个方面知识内容和具体操作：包括但不仅限于词法分析，句法分析，语义分析，文本聚类，文本分类，情感分析，文本摘要生成，主题模型，词嵌入，文本语义相似度，自然语言推理，机器翻译，语言模型，信息抽取，关系预测，对话，指代消解等等。 针对中文的自然语言处理，我们需要先将段落和句子切分为词语，这是最基础的一步操作，分词属于词法分析的基础部分。 以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！ MATLAB-30天带你从入门到精通 MAT
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 8万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
笔记——nan陷阱
鱼之天空的博客
07-03 563
参考http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html#cmt_5A0D972D-72F73880-BE365276-926-938https://mp.csdn.net/postlist 前面已经提到，后期会使用dropout等算法来对识别猫的神经网络进行改进，在实际操作过程中，却遇到了nan的问题 def backward_propa...
深度学习 loss 是nan的可能原因
张哥频道：电生理信号和磁共振成像
11-23 842
深度学习loss 为nan的可能原因
【深度学习】Loss为Nan的可能原因
最新发布
passer__jw767的博客
06-11 973
Loss为Nan的原因分析与解决
matlab损失函数出现nan,警惕！损失Loss为Nan或者超级大的原因
weixin_39891694的博客
03-18 1815
前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另外，这种情况很容易在网络层数...
训练过程中Loss函数出现Nan的可能原因
Jacob's blog
07-03 4358
综合我做过的一些实验，记录一下实验过程中Loss出现Nan的一些可能原因： 最简单的，学习率过大。 BTW, 学习率过大还可能导致收敛到一个定值之前实验室的师姐拿云图做DNI分类的结果最后都收敛到同一个数值，结果我后来一看也是学习率过大导致的。 其中的原因我猜测是使用了ReLU激活函数以后，某一步跨入了一个点，使得出现了dead neuron的现象，然后前面的参数全部不更新，导致最后的结果变成了定值。 坏样本的加入 比如一个样本的全是0，你减去均值除以方差以后就变成了nan，你自己不会发现，进入神经
零基础小白深度学习入门篇
qq_42370150的博客
05-19 8661
觉得小编不错请关注加点赞谢谢 一、人工智能和新科技革命 2017年，围棋界发生了一件比较重大的事，Master（AlphaGo）以60连胜横扫天下，击败各路世界冠军，人工智能以气势如虹的姿态出现在我们人类面前。围棋曾经一度被称为“人类智慧的堡垒”，如今，这座堡垒也随之成为过去。 从2016年三月份AlphaGo击败李世石开始，AI全面进入我们大众的视野，对于它的讨论变得更为火热起来，整个业界普遍认为，它很可能带来下一次科技革命，并且，在未来可预见的十多年里，深刻的改变我们的生活。 其实，A...
深度学习小白——tensorflow(四)CIFAR-10实例
MargretWG的博客
04-16 8862
最近看了https://github.com/tensorflow/models/tree/master/tutorials/image/cifar10 这个实例，里面有大量的tf库函数，看了好久才大概看个明白，想在此做个学习笔记，把一些函数用途以及整个CNN网络框架记录下来。 一、数据读取 因为之前写过，见http://blog.csdn.net/margretwg/article
YOLOv8蒸馏 | 知识蒸馏 | 利用模型蒸馏改进YOLOv8进行无损涨点 | MGDLoss（在线蒸馏 + 离线蒸馏）
Snu77的博客
04-25 2022
这篇文章给大家带来的是模型的蒸馏，利用教师模型指导学生模型从而进行模型的涨点，本文的内容不仅可以用于论文中，在目前的绝大多数的工作中模型蒸馏是一项非常重要的技术，所以大家可以仔细学习一下本文的内容，本文从YOLOv8的项目文件为例，进行详细的修改教程，文章内包括完整的修改教程，针对小白我出了视频修改教程，如果你还不会我提供了修改后的文件大家直接运行即可，所以说不用担心不会适用！模型蒸馏真正的无损涨点，蒸馏你只看这一篇文章就足够了！欢迎大家订阅我的专栏一起学习YOLO！
深度学习训练过程中loss出现nan的原因及可采取的方法
m0_52571323的博客
01-02 3947
在pytorch训练过程中出现loss=nan的情况，梯度爆炸。 可采取的办法： 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决，比如log(x + 微小量)，避免无穷大。 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，同样的需要检查数据集 今天遇到这个问题的时候，修稿了学
【在DeepSEED上使用自己的数据集训练出现NAN的情况】
weixin_43479119的博客
06-17 646
loss为Nan
警惕！损失Loss为Nan或者超级大的原因
lrt366的博客
07-28 5万+
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
前端累加nan怎么解决_训练网络loss出现Nan解决办法
weixin_39876595的博客
12-04 2191
训练网络loss出现Nan解决办法一.原因一般来说，出现NaN有以下几种情况：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（...
多任务联合训练，出现Nan的问题
MSFollower的博客
09-13 811
关于pytorch多任务训练loss=nan的问题
深度学习：目标分割｜UNet网络模型及案例实现
m0_58475958的博客
08-15 1万+
1 UNet网络架构 UNet网络由左编码部分，右解码部分和下两个卷积+激活层组成 编码部分 从图中可知：架构中是由4个重复结构组成：2个3x3卷积层，非线形ReLU层和一个stride为2的2x2 max pooling层（图中的蓝箭头，红箭头） 每一次下采样特征通道的数量加倍 解码部分 和编码层类似，反卷积也有4个重复结构组成 每个重复结构前先使用反卷积，每次反卷积后特征通道数量减半，特征图大小加倍（绿箭头） 反卷积之后，反卷积的结果和编码部分对应步骤的特征图拼接起来（白/蓝块） 如果编
深度模型 loss为nan解决方案详解
bitcarmanlee的博客
03-21 1万+
1.loss为nan 深度模型进行训练的时候，经常出现loss为nan的情况。比如某一次训练过程的输出如下： Epoch 1/50 1/303 [..............................] - ETA: 0s - loss: 278.5685 - accuracy: 0.0000e+00 47/303 [===>..........................] - ETA: 0s - loss: nan - accuracy: 0.5745 95/3
训练模型中出现loss连续为nan的解决办法
wang_ningning的博客
04-25 1661
1、优先查看数据，数据中如果有空数据就会出现连续loss为nan，去除空白数据 data=data.dropna() 2、梯度爆炸 减小学习率，减小batch_size 3、数据归一化 4、网络的结构化不合理，隐含层，神经元个数 5、更换参数初始化方法 对于CNN，一般用xavier或msra方法（这个方法我没用过，只是看到有这个解决办法） 我使用第一种方法就解决了问题 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值