神经网络训练出现 Inf 或 NaN

最新推荐文章于 2024-06-15 22:16:47 发布
最新推荐文章于 2024-06-15 22:16:47 发布
阅读量4k 收藏 2
点赞数
分类专栏： pytorch 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/life_86/article/details/115325374
版权

问题描述：

神经网络训练出现 Inf 或 NaN

Seed:   19
--- Hyper-parameters for training ---
learning_rate: 0.002
crop_size: [128, 128]
train_batch_size: 4
val_batch_size: 1
lambda_loss: 0.04
category: derain
inter_dim:  64
--- no weight loaded ---
Total_params: 7858012
GPU:  964.44287109375
old_val_psnr: 12.26, old_val_ssim: 0.3200
Learning rate sets to 0.002.
Epoch: 0, Iteration: 0, loss: 0.19023390114307404
Epoch: 0, Iteration: 100, loss: 102393404456960.0
Epoch: 0, Iteration: 200, loss: 11325063299072.0
Epoch: 0, Iteration: 300, loss: inf
WARNING:root:NaN or Inf found in input tensor.
Epoch: 0, Iteration: 400, loss: inf
WARNING:root:NaN or Inf found in input tensor.
Epoch: 0, loss: inf
WARNING:root:NaN or Inf found in input tensor.
Traceback (most recent call last):
  File "train_model_gconv66.py", line 207, in <module>
    val_psnr, val_ssim = validation_v8(net, val_data_loader, device, category, args.save_path, save_tag=True)
  File "/ghome/zhangzy/derain/unet_graph/src/utils.py", line 117, in validation_v8
    avr_psnr = sum(psnr_list) / len(psnr_list)
ZeroDivisionError: division by zero

原因分析与解决方案：

inf是无穷大的意思，说明loss值太大，当前应该是float32已无法表示。

学习率可能过大，调小学习率

msdhy
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow训练中出现nan问题的解决
12-25
深度学习中对于网络的训练是参数更新的过程，需要注意一种情况就是输入数据未做归一化时，如果前向传播结果已经是[0,0,0,1,0,0,0,0]这种形式，而真实结果是[1,0,0,0,0,0,0,0,0]，此时由于得出的结论不惧有概率性，...
使用Pandas将inf, nan转化成特定的值
09-18
在数据处理的过程中，尤其是在使用Pandas库对数据进行操作时，常常会遇到一些令人头疼的问题，其中就包括了无穷大（inf）和非数字（nan）值的处理。本文将重点介绍如何在使用Pandas时将这些特殊的数值转换成我们希望...
输出，loss出现-inf 或者nan
m0_46429066的博客
05-01 3726
原因有很多种，比如输入数据不对，或者模型有问题； 一般考虑梯度爆炸或者Loss爆炸，可以用debug模式检查问题的原因，观察什么时候出现的问题； 我产生的原因是在训练模型时，使用了model.eval(),将其改为model.train()后解决。 ...
python中的inf和nan
12-21
python中的正无穷或负无穷，使用float(“inf”)或float(“-inf”)来表示。 这里有点特殊，写成：float(“inf”)，float(“INF”)或者float(‘Inf’)都是可以的。 当涉及 > 和 < 比较时，所有数都比无穷小float("-inf")大，所有数都比无穷大float("inf")小。 相等比较时，float(“+inf”)与float(“+inf”)、float(“inf”)三者相等。即： float("+inf") == float("+inf") # True float("+inf") == float("inf") # True 同样地
Comsol稳态求解器报错：使用SOR求解线性方程组时，发现Inf或NaN
最新发布
XM_mengJyou的博客
06-15 1281
详细信息：使用SOR求解线性方程组时，发现Inf或NaN。
运行出现inf或者nan
zhyVeritas的博客
10-13 3869
inf一般是因为得到的数值，超出浮点数的表示范围（溢出，即阶码部分超过其能表示的最大值）；而nan一般是因为对浮点数进行了未定义的操作，如对-1开方。
用sor法求解方程组matlab,SOR迭代法求线性方程组
weixin_39663360的博客
03-20 586
该楼层疑似违规已被系统折叠隐藏此楼查看此楼%SOR迭代法function [y,k,err,w]=sor(eps,a,n)h=1/n;A=zeros(n-1,n-1); %定义系数矩阵Afor i=1:n-1A(i,i)=-(2*eps+h);endfor i=1:n-1for j=1:n-1if i==j+1A(i,j)=eps;endif i==j-1A(i,j)=eps+h;ende...
sor解方程组 matlab,SOR迭代法求线性方程组
weixin_33502400的博客
04-06 265
该楼层疑似违规已被系统折叠隐藏此楼查看此楼%SOR迭代法function [y,k,err,w]=sor(eps,a,n)h=1/n;A=zeros(n-1,n-1); %定义系数矩阵Afor i=1:n-1A(i,i)=-(2*eps+h);endfor i=1:n-1for j=1:n-1if i==j+1A(i,j)=eps;endif i==j-1A(i,j)=eps+h;ende...
关于Python中Inf与Nan的判断问题详解
09-21
### 关于Python中Inf与Nan的判断问题详解 #### 引言 在处理数学运算时，经常会遇到一些特殊数值，比如无穷大(`Inf`)和非数字(`NaN`)。Python作为一种广泛使用的编程语言，在处理这些特殊数值方面有着明确且实用的...
Python 实现将numpy中的nan和inf,nan替换成对应的均值
09-16
`NaN`通常表示未定义或无法计算的数值，而`inf`则表示正无穷大。在数据分析和机器学习领域，这些异常值如果不进行处理，可能会影响后续的统计分析和模型训练。因此，将它们替换为合适的数值，如均值，是一种常见的...
matlab sor解线性方程组,SOR迭代法求线性方程组
weixin_33216057的博客
03-17 435
该楼层疑似违规已被系统折叠隐藏此楼查看此楼%SOR迭代法function [y,k,err,w]=sor(eps,a,n)h=1/n;A=zeros(n-1,n-1); %定义系数矩阵Afor i=1:n-1A(i,i)=-(2*eps+h);endfor i=1:n-1for j=1:n-1if i==j+1A(i,j)=eps;endif i==j-1A(i,j)=eps+h;ende...
训练模型的时候， Warning: NaN or Inf found in input tensor 解决办法
热门推荐
qq_38284961的博客
11-06 2万+
一般出现这句话的时候表示，模型训练过程中出现梯度消失或者梯度爆炸。 更改方式是降低初始学习率，比如加入初始学习率是0.1那么就将它改成0.01。 ...
共轭梯度法求解线性方程组
chd_lkl的博客
11-28 1900
Program ConjugateGradientMethods Implicit none Integer :: i Integer, parameter :: n = 3 Real(kind=8) :: A(n,n) = [ 4.d0, -2.d0, 2.d0, -2.d0, 2.d0, -4.d0, 2.d0, -4.d0, 11.d0 ] Real(kind=8) :...
NaN or Inf found in input tensor的问题出现与处理
工立生活
07-28 1728
NaN or Inf found in input tensor的出现与处理
SOR迭代求解线性方程组代码实现
qq_43391414的博客
04-09 1540
import numpy as np def sor(A,b,w,x0,limit): #xor迭代 n=A.shape[1] D=np.zeros((n,n)) # print(A) for i in range(n): D[i][i]=A[i][i] L=np.zeros((n,n)) for i in range(n): for j in range(i): L[i][j]=-A[i][j
Comsol稳态求解器变量报错：存在NaN/Inf
XM_mengJyou的博客
05-15 4544
1️⃣缩短仿真结束步长t_end，也就是输出时步range(0, t_stepsize, t_end)中的总仿真时间，最大缩小范围一次性尽量不超过一个数量级。-详细信息：在 内找到未定义的值方程残余矢量。有xxx个自由度，在变量comp1.x的矢量中为NaN/Inf。位于坐标xxxxxx”2️⃣网格再进一步细化。有条件的可以试着采取。
COMSOL常见报错1.1
ZWEI_ccc的博客
03-11 4531
矢量中为非数/无穷大。位于坐标(......)
fortran使用pardiso求解器求解稀疏非对称线性方程组
chd_lkl的博客
09-10 4674
program nonsymmetric implicit none integer, parameter :: n = 4 !// depend on your equation integer :: i, j, mm, tmp, nn, fileid, first, num real(kind=8) ...
python神经网络训练中loss突然从1000变成nan
05-10
在神经网络训练过程中，出现loss突然从一个较大的数变成nan的情况，通常是由于数值计算溢出或者出现了无穷大的情况。 可能的原因包括： 1. 输入数据中出现了nan或inf。 2. 学习率设置过大，导致更新过程中数值溢出。 3. 模型中存在某些数值或参数出现nan或inf。 对于这种情况，可以尝试以下几种方法： 1. 检查数据是否存在nan或inf，如果存在，需要进行数据清洗或者处理。 2. 调整学习率，降低学习率的大小。 3. 检查模型中的参数是否出现nan或inf，如果出现需要进行修改或者重新初始化。 4. 尝试使用数值稳定的损失函数，如sigmoid_cross_entropy_with_logits等。 5. 尝试使用数值稳定的优化器，如Adam等。 总之，当出现loss突然从一个较大的数变成nan的情况，需要仔细检查数据、模型和优化器，以确定具体原因，并采取相应的措施进行修正。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值