深度学习：Nan与Inf是如何造成的？

最新推荐文章于 2024-01-11 08:35:17 发布

HanZee

最新推荐文章于 2024-01-11 08:35:17 发布

阅读量845

点赞数

分类专栏：深度学习实践文章标签：深度学习人工智能机器学习

本文链接：https://blog.csdn.net/qq_18555105/article/details/126991289

版权

深度学习实践专栏收录该内容

12 篇文章 1 订阅

订阅专栏

深度学习：深度学习：Nan与Inf是如何造成的？

Nan
Inf
通用解决办法

Nan

通常来说是梯度除以0了。（not a number）

Inf

表示数据过大，通常来说是learning rate 太大，或者权重初始化的时候太大，导致后面炸掉了。

通用解决办法

合理设置learning rate，不要太大。
合理权重初始化。
合理选择激活函数。

########

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HanZee

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
深度学习：Nan与Inf是如何造成的？

训练模型是nan与inf如何造成的与如何避免
复制链接

扫一扫

专栏目录

pytorch 13 训练过程中出现loss为nan、inf（梯度爆炸、梯度消失）的分析及解决方案

a486259的博客

12-01

8156

从理论的角度上看，本质是梯度消失与梯度爆炸所导致的。梯度消失是指导数值特别小，导致其连乘项接近无穷小，可能是由输入数据的值域太小（导致权重W的导致特别小）或者是神经网络层输出数据落在在激活函数的饱和区（导致激活函数的导致特别小）;而梯度爆炸是指导数值特别大，导致其连乘项特别大，致使W在更新后超出了值域的表示范围。可能是输入数据没有进行归一化（数据量纲太大，致使W的梯度值极大），只要连乘项的导数一直大于1，就会使得靠近输入层的W更新幅度特别大。连乘项是指链式求导法则中每一层的导数，很明显梯度消失与梯度爆炸都受

使用自定义loss时出现Nan和-inf问题

langtaosha1996的博客

12-08

2163

使用自定义loss时，训练几代后就出现问题，loss计算中用了torch.sqrt()来开根号，在网络训练初期是没有什么问题的loss也都正常下降，但是训练到一半会出现NAN。 loss本身计算时不出现Nan，但是网络输出为Nan和-inf值参考博客，初步认为是开根号中值为0的情况，修改代码： e = 1e-6 torch.sqrt(a + e) 改完后，仍然存在Nan的问题进一步检查后，发现训练数据的label存在Nan值如上图，就是一个label例子，计算出来的dp 出现N

参与评论您还未登录，请先登录后发表或查看评论

总结一：神经网络训练过程中可能引起NaN的三种原因总结

pan5431333的博客

08-26

2万+

在训练神经网络的过程中，经常会遇到当训练进行到一定次数后，cost会变成NaN的问题。在网上搜索相关问题时，发现大多人的观点是认为learningRate过大导致NaN，但是经过我自己摸索，我发现绝大多数情况下NaN是由以下几种情况导致的。learningRate过大只是会造成cost不收敛，在最优点附近震荡。第一种情况： cost的计算公式为：cost = -(y.t * lo

深度学习中nan和inf的解决

dddeee的专栏

01-15

1万+

文章目录1、 nan 和inf产生原因 1、 nan 和inf产生原因搭建神经网络后产生的，在训练早期，模型参数可能不是很合适，会出现梯度消失和爆炸的情况，特别是有lstm,rnn这类网络的情况。nan 是not a number ,inf是无穷大， ...

Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因

热门推荐

ytusdc的博客

02-12

5万+

常见原因-1 一般来说，出现NaN有以下几种情况：相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）

PyTorch训练“WARNING:root:NaN or Inf found in input tensor”问题

ya6543的博客

07-05

1万+

PyTorch训练报“WARNING:root:NaN or Inf found in input tensor”警告，可能是tensorboardX使用中数据格式不符合规范。

NaN or Inf found in input tensor的问题出现与处理

工立生活

07-28

1745

NaN or Inf found in input tensor的出现与处理

warning:root:nan or inf found in input tensor.

06-28

这个警告是指在输入张量中发现了 NaN 或 Inf。...在机器学习和深度学习中，这通常表示模型训练过程中出现了问题，例如数值溢出或未处理的缺失值。为了确保模型的正确性，需要对输入数据进行检查并解决这个问题。

深度学习八股文：混合精度训练过程出nan怎么办

m0_38086244的博客

11-24

1698

前向计算过程中没有nan，loss算完后，乘以scale后导致inf，这时候再往后反向传播出nan了，那在梯度更新的时候就会在梯度更新前进行数值检查，check finite and unscale过程会去检查权重的梯度发现有nan或者inf就会跳过更新，此时就可以调整scale的值，把scale降低，然后跑下一个step的前向。混合精度训练使用较低的数值精度（通常是半精度浮点数，例如FP16）来加速模型训练，但在一些情况下，可能会引发数值不稳定性的问题，导致 NaN 的出现。

深度学习训练中cost突然出现NaN

fu6543210的博客

05-17

4886

问题：在深度学习训练中，之前的cost是正常的，突然在某一个batch训练中出现Nan few advises to avoid this problem if error starts increasing then NaN appears afterwards: diverging due to too high learning rate if NaNs appear suddenly:...

“NaN or Inf found in input tensor“问题解决办法

最新发布

weixin_46573159的博客

01-11

1439

训练模型时，出现NaN or Inf found in input tensor问题。

WARNING:root:NaN or Inf found in input tensor

weixin_45693324的博客

04-10

2310

记录一下出现该问题的原因： 1.数据集问题（我出现的问题，在mask数据集中有部分图片不能使用） 2.学习率太大

训练模型的时候， Warning: NaN or Inf found in input tensor 解决办法

qq_38284961的博客

11-06

2万+

一般出现这句话的时候表示，模型训练过程中出现梯度消失或者梯度爆炸。更改方式是降低初始学习率，比如加入初始学习率是0.1那么就将它改成0.01。 ...

Pytorch遇到的问题及解决方案 - 更新ing

Tsingzao的博客

01-17

4万+

1、安装完成后，不能import torch，提示 ImportError: dlopen: cannot load any more object with static TLS 解决办法：有很多答案都说是将import torch放在import cv2之前，但我试了之后还是不能解决，最后是通过在jupyter notebook中可以直接import torch。我是通过mobarxterm...

神经网络训练出现 Inf 或 NaN

life_86的博客

03-30

4107

问题描述：神经网络训练出现 Inf 或 NaN Seed: 19 --- Hyper-parameters for training --- learning_rate: 0.002 crop_size: [128, 128] train_batch_size: 4 val_batch_size: 1 lambda_loss: 0.04 category: derain inter_dim: 64 --- no weight loaded --- Total_params: 7858012 G..

【漫漫科研路\Matlab】最小跳数最大权重算法

青峰碧陋室

12-17

2084

上周，实验室国际友人让我帮忙实现满足条件的最小跳数最大权重的算法。他的具体问题如下：给定一个权重图（如下图所示），给出节点之间最小跳数最大权重矩阵，其中任意两点之间跳数小于等于3，否则权重为inf。如图所示， A到B的最小跳数为2：A-C-B和A-D-B，权重分别为7、8。因此A到B的最小跳数最大权重为8，路径为A-D-B。下面给出了具体的代码实现：主要有两个文件，测试脚本文件mai

深度学习/机器学习入门基础数学知识整理（七）：数学上sup、inf含义，和max、min的区别

Bin 的专栏

02-11

4万+

经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：inf： infimum 或 infima，中文叫下确界或最大下界。 inf(S)， S表示一个集合， inf(S)是指集合S的下确界，即小于或等于S中所有元素的最大值，这个数不一定在集合S中。sup：supremum，中文叫上确界。sup(S)是指集合S的上确界，即大于或等于S的所有元素的最小值，这个数不一定在集合S中。

记录Pytorch中遇到的问题

qq_36228172的博客

03-01

1万+

在feature层到classifier层中，若出现如下错误：则需要改变FC层的入口参数，如此图中可以改为： x = x.view(out.size(0), -1) self.linear = nn.Linear(320, 10) # 320为入口参数 ...

[深度学习] loss=inf

currycode

06-25

6595

原因一：data underflow 原因: 在使用log函数时出现 data underflow 解决方法：增加一个bias # original g_wh = (matched[:, 2:] - matched[:, :2]) / priors[:, 2:] g_wh = torch.log(g_wh) / variances[1] # current eps = 1e-5 g_wh...