神经网络损失函数nan的一个疑问

最新推荐文章于 2024-07-13 12:46:13 发布

wqtltm

最新推荐文章于 2024-07-13 12:46:13 发布

阅读量1.9k

点赞数

本文链接：https://blog.csdn.net/wqtltm/article/details/81122203

版权

cross_entropy =-tf.reduce_sum(y_*tf.log(y)）#第一个

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y,1e-8,tf.reduce_max(y)))) #第二个

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),1))#第三个

当我使用第一个的时候训练的损失函数根本降不下去，输出是NAN

即使是第二个方法我把y_可能出现0的情况给忽略了也降不下去

但是使用第三个方法瞬间就work了

很奇怪特此记录

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wqtltm

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

matlab损失函数出现nan,警惕！损失Loss为Nan或者超级大的原因

weixin_39954487的博客

03-18

2555

前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另外，这种情况很容易在网络层数...

python神经网络训练损失率nan_神经网络训练时出现nan错误

weixin_39946500的博客

12-11

1572

现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结1.问题一;训练CNN的时候出现nanCNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的加速度计数值并打上特定的动作标签。在训练CNN网络时一共遇到两处坑，一...

参与评论您还未登录，请先登录后发表或查看评论

损失函数出现nan的原因分析及对策

weixin_43080939的博客

05-09

6721

神经网络训练时出现NAN的原因及解决办法

训练模型时损失函数无法下降

最新发布

m0_55720416的博客

07-13

257

当学习率设置过大时，可能会导致损失函数从一个峰值跳跃到另一个峰值，学习率一般可以从0.1试到0.0001。

警惕！损失Loss为Nan或者超级大的原因

lrt366的博客

07-28

5万+

转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...

损失函数lossw为nan的问题

qq_42178122的博客

04-12

4163

nan的字面意思：Not a Number的缩写一开始，我设置每训练10张图片，就输出loss，除了第一个输出为正常值，其余的都为Nan。然后我将训练每张图片的loss都输出，发现数值会慢慢变得很大。我的解决方法是：将学习率调小，loss的输出总算不为Nan ...

【笔记】损失函数计算后返回 nan 的原因以及解决办法：logX，X为负数或0将会计算得到nan，规定X范围，可以避免nan的出现

nyist_yangguang的博客

09-10

699

https://www.jianshu.com/p/ffd3e63f39ef

matlab神经网络输出函数,选择神经网络输入输出处理函数

weixin_42354944的博客

03-22

1320

选择神经网络输入输出处理函数本主题介绍典型多层网络工作流的一部分。有关详细信息和其他步骤，请参阅多层浅层神经网络与反向传播训练。如果对网络输入和目标执行某些预处理步骤，神经网络训练会更高效。本节介绍几个您可以使用的预处理例程。(其中最常见的预处理例程是在您创建网络时自动提供的，它们成为网络对象的一部分，因此无论何时使用网络，进入网络的数据都会以相同的方式进行预处理。)例如，在多层网络中，sigmo...

网络nan的原因_BP神经网络训练出现数据NAN是怎么个情况

weixin_35201989的博客

01-14

1623

语法应该没错，都正常跑完了.....这是数据：clcclear%数据的提取和预处理%下载2类地震动信号load MC MC; %%脉冲为18*1401load FMC FMC; %%非脉冲为32*1401%2个特征信号矩阵合成一个矩阵data(1:18,:)=MC(1:18,:);data(19:50,:)=FMC(1:32,:);%从data中找出输入和输出inp...

matlab损失函数出现nan,[译]在训练过程中loss出现NaN的原因以及可以采取的方法。...

weixin_39631263的博客

03-18

580

1.梯度爆炸原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。症状：观察输出日志(runtime log)中每次迭代的loss值，你会发现loss随着迭代有明显的增长，最后因为loss值太大以致于不能用浮点数去表示，所以变成了NaN。可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级(至少)。如果在你的模型中有多个loss层，就不能降...

【深度学习】Loss为Nan的可能原因

passer__jw767的博客

06-11

1023

Loss为Nan的原因分析与解决

记模型训练损失为NAN

ting

01-04

935

梯度剪裁结局训练loss为NAN情况

训练模型时损失函数为nan

baidu_36639782的博客

03-05

3368

参考如下： https://oldpan.me/archives/careful-train-loss-nan-inf https://blog.csdn.net/qq_38906523/article/details/81357895 https://blog.csdn.net/u013732444/article/details/73344628 https://blog.csdn.n...

pytorch训练模型是出现损失值为nan的情况

weixin_38787389的博客

11-09

383

pytorch训练模型是出现损失值为nan的情况

模型训练时损失出现Nan，解决方案

weixin_36670529的博客

04-08

2502

1. 问题如下图所示： 2. 损失为nan的原因 1. 学习率过大，导致当然还有其他原因，目前可以参考警惕！损失Loss为Nan或者超级大的原因 3. 解决方式降低学习率

Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因

热门推荐

ytusdc的博客

02-12

5万+

常见原因-1 一般来说，出现NaN有以下几种情况：相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）

神经网络中，loss is nan的可能原因与解决方案

bufengzj的博客

05-12

6210

1. 处理多分类，我采用的是全连接+relu+最后的softmax 交叉熵加正则化作为loss loss=cem+tf.add_n(tf.get_collection('losses')) 然后，遇到了loss间隔出现nan, 2.尝试解决方案： 1，清除nan数据， 2.https://www.jianshu.com/p/79ea75c47004这篇文章提到relu和softm...

训练过程中Loss突然变为NaN的可能原因与解决

andyL_05的博客

07-27

3万+

训练过程中Loss突然变为NaN的可能原因与解决深度学习训练过程中，我们依赖模型当前参数训练得到的loss，根据所选择的优化策略，如Adam、SGD等得到参数步进调整值，对参数进行不断的调整，直到模型达到我们的预期。但在实际训练过程中，有时候会发现loss变为NaN或Inf的情况，导致训练无法正常进行。出现这种情况的原因主要有以下几点： 1. 梯度爆炸 2. 出现除零、对数函数自变量为负值等数学问题 3. 出现坏样本 1. 梯度爆炸训练过程中由于学习率等超参数设置的不合理，导致优化过程中没有减小los

tensorflow训练神经网络时出现loss一直为nan的情况

weixin_43932042的博客

08-12

3276

tensorflow训练时出现loss一直为nan的问题