神经网络损失函数nan的一个疑问

最新推荐文章于 2024-10-08 17:20:26 发布
最新推荐文章于 2024-10-08 17:20:26 发布
阅读量1.9k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqtltm/article/details/81122203
版权

 

cross_entropy =-tf.reduce_sum(y_*tf.log(y)）#第一个

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y,1e-8,tf.reduce_max(y)))) #第二个

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),1))#第三个


当我使用第一个的时候 训练的损失函数根本降不下去，输出是NAN

即使是第二个方法  我把y_可能出现0的情况给忽略了 也降不下去

但是使用第三个方法瞬间就work了 

 

很奇怪  特此记录

 

wqtltm
关注
matlab损失函数出现nan,警惕！损失Loss为Nan或者超级大的原因
weixin_39954487的博客
03-18 2611
前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另外，这种情况很容易在网络层数...
python神经网络训练损失率nan_神经网络训练时出现nan错误
weixin_39946500的博客
12-11 1619
现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结1.问题一;训练CNN的时候出现nanCNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的加速度计数值并打上特定的动作标签。在训练CNN网络时一共遇到两处坑，一...
损失函数出现nan的原因分析及对策
weixin_43080939的博客
05-09 6937
神经网络训练时出现NAN的原因及解决办法
训练神经网络出现nan
最新发布
m0_61175448的博客
10-08 1025
在这里对这个问题做一个总结：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）_pytorch nan。其实不然，在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果，从而帮助我们的任务取得不错的精度，这些技巧是训练神经网络不可缺少的一环。fastai首席设计师。
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 5万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
警惕！损失Loss为Nan或者超级大的原因
lrt366的博客
07-28 5万+
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
损失函数lossw为nan的问题
qq_42178122的博客
04-12 4210
nan的字面意思：Not a Number的缩写 一开始，我设置每训练10张图片，就输出loss，除了第一个输出为正常值，其余的都为Nan。 然后我将训练每张图片的loss都输出，发现数值会慢慢变得很大。 我的解决方法是：将学习率调小，loss的输出总算不为Nan ...
神经网络训练过程中出现loss为nan，神经元坏死
joker_xiansen的博客
09-07 6660
最近在手撸Tensorflow2版本的Faster RCNN模型，稍后会进行整理。但在准备好了模型和训练数据之后的训练环节中出现了大岔子，即训练过程中loss变为nan。nan表示not a number类型，任意有关nan的运算结果都将得到nan。这可真是一颗老鼠屎坏了一锅粥，一但一个step中出现loss为nan，所有神经元的参数都将被更新为nan，之后的epochs和step中所有预测结果和模型参数都将为nan。 为了弄清楚nan的原因，我检查了每个组件函数以及所用的训练数据是否有误...
matlab神经网络输出函数,选择神经网络输入输出处理函数
weixin_42354944的博客
03-22 1339
选择神经网络输入输出处理函数本主题介绍典型多层网络工作流的一部分。有关详细信息和其他步骤，请参阅多层浅层神经网络与反向传播训练。如果对网络输入和目标执行某些预处理步骤，神经网络训练会更高效。本节介绍几个您可以使用的预处理例程。(其中最常见的预处理例程是在您创建网络时自动提供的，它们成为网络对象的一部分，因此无论何时使用网络，进入网络的数据都会以相同的方式进行预处理。)例如，在多层网络中，sigmo...
网络nan的原因_BP神经网络训练出现数据NAN是怎么个情况
weixin_35201989的博客
01-14 1647
语法应该没错，都正常跑完了.....这是数据：clcclear%数据的提取和预处理%下载2类地震动信号load MC MC; %%脉冲为18*1401load FMC FMC; %%非脉冲为32*1401%2个特征信号矩阵合成一个矩阵data(1:18,:)=MC(1:18,:);data(19:50,:)=FMC(1:32,:);%从data中找出输入和输出inp...
【笔记】损失函数计算后返回 nan 的原因以及解决办法：logX，X为负数或0将会计算得到nan，规定X范围，可以避免nan的出现
nyist_yangguang的博客
09-10 726
https://www.jianshu.com/p/ffd3e63f39ef
【深度学习】Loss为Nan的可能原因
passer__jw767的博客
06-11 1587
Loss为Nan的原因分析与解决
记模型训练损失为NAN
ting
01-04 968
梯度剪裁结局训练loss为NAN情况
训练模型时损失函数为nan
baidu_36639782的博客
03-05 3389
参考如下： https://oldpan.me/archives/careful-train-loss-nan-inf https://blog.csdn.net/qq_38906523/article/details/81357895 https://blog.csdn.net/u013732444/article/details/73344628 https://blog.csdn.n...
pytorch训练模型是出现损失值为nan的情况
weixin_38787389的博客
11-09 403
pytorch训练模型是出现损失值为nan的情况
模型训练时损失出现Nan，解决方案
weixin_36670529的博客
04-08 2543
1. 问题 如下图所示： 2. 损失为nan的原因 1. 学习率过大，导致 当然还有其他原因，目前可以参考警惕！损失Loss为Nan或者超级大的原因 3. 解决方式 降低学习率
神经网络中，loss is nan的可能原因与解决方案
bufengzj的博客
05-12 6254
1. 处理多分类，我采用的是 全连接+relu+最后的softmax 交叉熵加正则化作为loss loss=cem+tf.add_n(tf.get_collection('losses')) 然后，遇到了loss间隔出现nan, 2.尝试解决方案： 1，清除nan数据， 2.https://www.jianshu.com/p/79ea75c47004这篇文章提到relu和softm...
神经网络算法——损失函数（Loss Function）
不要给自己设限，尝试更多可能（思所向 皆可往）
03-08 1万+
本文将从损失函数的本质、损失函数的原理、损失函数的算法三个方面，详细介绍损失函数Loss Function。损失函数。
神经网络系列---损失函数
weixin_43763292的博客
02-24 2744
在分类任务中，信息熵损失函数的作用是最小化模型预测的类别概率分布与真实标签的差异，使得模型能够更好地预测正确类别。平均绝对误差（Mean Absolute Error，MAE）是常用的回归问题中的损失函数，用于衡量模型预测结果与真实标签之间的差异。均方误差（Mean Squared Error，MSE）是常用的回归问题中的损失函数，用于衡量模型预测结果与真实标签之间的差异。Hinge Loss 的特点是，对于预测结果与真实标签的差异小于1的情况，损失为0，这被称为“合页点”（hinge point）。
ReLU激活函数与卷积神经网络图像识别研究
"这篇文档是关于卷积神经网络（CNN）的激活函数选择与位置以及初始权值选取的讨论，特别关注ReLU激活函数及其在神经网络中的应用。文档还提到了一个硕士学位论文，该论文涉及基于CNN的图像识别研究，包括优化训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值