pytorch RNN训练loss出现nan

已于 2022-11-03 10:32:37 修改
阅读量1.1k 收藏 2
点赞数 3
分类专栏： Python日常使用问题 文章标签： pytorch rnn 深度学习
于 2021-10-02 17:48:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenquanle/article/details/120587728
版权
本文介绍了在深度学习模型训练过程中遇到输入数据包含NaN的问题，以及如何通过检查输入、跟踪网络输出来定位问题。作者通过torch.any(torch.isnan(input))检测输入tensor，并发现由于最大最小值归一化时的除数为0导致了NaN。解决方法包括修正数据预处理步骤，避免除以零的情况，以及在模型训练中添加合适的异常处理。
摘要由CSDN通过智能技术生成

我是通过打断点判断出来的。

（1）利用torch.any(torch.isnan(input))判断自己所有的输入是否有问题（我发现我的输入tensor中有一维的特征有nan，是因为最大最小值归一化的时候，max和min是同一个数，造成除数为0，结果产生了nan，LSTM、GRU学出来的全是nan）

（2）输出网络中每一层的输出，看看nan是哪里产生的（我是在输入和LSTM/GRU单元部分产生的）

（3）找到nan的原因，解决掉nan

k2/rnnt_loss.py-第二版
u013250861的博客
06-19 53
# Copyright 2021 Xiaomi Corp. (author: Daniel Povey, Wei Kang) # # See ../../../LICENSE for clarification regarding multiple authors # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compl
pytorch训练过程中loss出现NaN的原因及可采取的方法
热门推荐
jacke121的专栏
10-03 1万+
在pytorch训练过程中出现loss=nan的情况 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，...
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
pytorch排查loss值出现nan的情况
qq1803291168
11-03 1547
pytorch 排查 loss值为 nan 的情况
Pytorch训练CRNN输出为NaN
一听音频技术
11-25 1228
记录一个非常隐蔽pytorch训练audio相关的Bug。
pytorch训练时前一次迭代的loss正常后一次迭代却报nan
Michael’s Blog
05-28 3140
问题描述：训练一个有四个阶段模型的网络（可以简单理解每一阶段就是一个卷积层），每阶段输出都会进行loss计算。现将pytorch原始的ce loss改为focal loss后，网络训练了数个迭代后loss 报nan。输入数据检查过没有问题，报nan时的前一个迭代的loss是正常的。报nan的当前迭代，第一个阶段所有的卷积参数都已经是nan了。 一、问题排除 因为查看过数据，完全没有问题，排除输入 因为参数在报nan时已经是nan了，不是前向问题 前一次迭代loss完全没问题，可能不是bp的问题，但是还没有
pytorch半精度训练时出现nan的情况
lppfwl的博客
11-04 2722
最近在训练bert模型的时候，因为gpu内存不足，就想着用半精度训练的方式来降低内存占用，加速训练，但是训练几百个batch之后，就出现模型输出为nan的情况，但是之前用单精度float32训练的时候就没出现过这个问题。 一点点去查看之后，发现是在某个batch更新之后，模型embedding层的权重参数变成了nan，在网上查了一些资料之后终于解决这个问题了，这里记录一下： １.由于我的优化器使用的是adam算法，在用半精度训练的时候需要torch.optim.Adam中加入参数eps=1e-3，否则就有可
基于pytorch的RNN各参数含义 实例
小张快冲
07-07 2584
讲真，研究这个RNN参数我花了好几天，博客中基于pytorch的不多，即使有也没结合实例，有些博客互相也不一致，理解起来很费劲。。这中间又因为准备考试，隔了两三周，现在接着来看，战线属实够长。。迷迷糊糊看懂了，特意梳理一下，让思路更清晰，也方便以后查阅。如果讲述有误，欢迎指正~ 先上完整代码，参数解释在注释中，个别参数完整输出贴在后面，方便理解。 RNN输入数据 输入维度是11，输出维度是1 # -*- coding: utf-8 -*- """ Created on Tue Jul 7 16:15
使用pytorch构建RNN实现多属性时间序列预测 示例
小张快冲
07-07 1万+
使用多属性时间序列数据预测风电场实际功率 数据展示 第A列时间数据作为时间索引，第N行B-L列作为特征属性（X），第N+1行L列作为预测属性（y），即用上一时刻的数据预测下一时刻的实际功率。下面的series_to_supervised先把数据构建成X-y形式，实际输入时用多少个时间步长作为输入由超参 time-step决定。 实验代码 # 先把数据改成X-y形式，输入用time-step决定 from sklearn import preprocessing import pandas as pd
Pytorch Note39 RNN 序列预测
风信子的猫Redamancy的快乐星球
08-03 2691
Pytorch Note39 RNN 序列预测 文章目录Pytorch Note39 RNN 序列预测数据预处理创建数据集定义模型训练及测试 全部笔记的汇总贴：Pytorch Note 快乐星球 前面我们讲到使用 RNN 做简单的图像分类的问题，但是 RNN 并不擅长此类问题，下面我们讲一讲如何将 RNN 用到时间序列的问题上，因为对于时序数据，后面的数据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。 首先我们可以读入数据，这个数据是 10
训练时loss不下降问题
Lmoermo的博客
08-29 4828
1、训练集loss不下降 2、测试集loss不下降 3、验证集loss不下降 二、epoch在100内损失出现nan可能原因以及解决 三、自适应学习率设置 一、训练时loss不下降问题 1、训练集loss不下降    1.1 模型结构和特征工程存在问题    1.2 权重初始化方案有问题    1.3 正则化过度    1.4 选择合适的激活函数、损失函数 1.5 选择合适的优化器和学习速率   1.6 训练时间不足 1.7 模型训练遇到瓶颈 1.8 batch size过大
训练中pytorch出现nan的两种情况
qq_30735079的博客
07-28 2108
1.训练结束之后忽略添加relu导致出现了负数，这回导致开根号的时候出现inf，然后出现nan 2.loss函数中有开根操作，而网络输出有0，导致结果无穷大，对有0的位置添加1e-9这种极小值可以防止无穷大的产生。 ...
crnn文字识别训练过程出现的nan问题
yunxinan的专栏
06-01 1315
crnn 文字识别中数据集应该注意问题： a)训练图片高度不能超过32并且要能整除16 b)训练图片宽度不能小于高度的八倍256不然在寻找输出的的出现 c)原则上最好的训练就是图片的高度都是32宽度都是280的字条里面的文字可以多可以少 d)如果出现丢字修改池化层的第二个参数为1可以减少丢字 详细代码阅读： 模型训练出现关于nan问题的方案 以crnn_chinese_characters_rec为例 打开 https://github.com/Sierkinhane/crnn_chinese_charac
pytorch训练过程中loss变成nan
m0_37500540的博客
06-30 944
在计算损失函数的时候有个log()函数，如果log(0)就会nan.所以一般会加上一个很小的数防止0的出现。 例如eps=1e-12 但当模型使用半精度的时候0+eps=0。所以就出现了错误。
网络训练loss为nan的解决的办法。
weixin_30460489的博客
11-02 459
1、检查输入数据和target中是否有 nan 值。 　　np.any(np.isnan(x)) 　　np.any(np.isnan(target)) 2、减小loss 3、rnn中发生梯度爆炸，检查参数值和参数梯度，截断梯度。　 3.1 检查梯度是否更新for params in model.named_parameters(): [name, param] = params ...
RNN-循环神经网络-吴恩达读书笔记
LWHGMAN的博客
09-22 453
参考博文：http://www.ai-start.com/dl2017/html/lesson5-week1.html#header-n114 1、为什么选择序列模型？（Why Sequence Models?） 什么是序列模型: 序列模型也就是处理与时间有关系的数据的模型，这些数据前后是有相互依存的关系的。比如音频片段（歌曲、语言），是一个按照时间播放的序列。 序列模型在机器翻译、文本生...
pytorch训练过程中出现nan的排查思路
weixin_43913077的博客
10-29 1005
https://blog.csdn.net/mch2869253130/article/details/111034068
神经网络训练时出现nan错误
weixin_30945039的博客
01-23 643
现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结 1.问题一;训练CNN的时候出现nan CNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的加速度计数值并打上特定的动作标签。 在训练CNN网...
多分支训练，输出突然变nan
qq_42246695的博客
03-19 266
三分支同时训练，在几次iter之后就直接报错： 其中一个分支的输出直接全为nan，还以为是网络架构或者数据结构出错，仔细核查之后，错误来源于三个分支中某个或某几个分支的损失过大，造成在一开始就出现了梯度爆炸的情况，通过减小学习率也仅仅只能适量减少这种情况的出现。 因为两个分支的Loss是我自己写的，所以在对出现问题两个分支的Loss做了重建之后解决了问题。 做一个记录，这个简单...
pytorch rnn
最新发布
04-01
PyTorch RNN (Recurrent Neural Network) is a type of neural network that is designed to process sequential data, such as time series data, text, or audio. It is a powerful tool for modeling complex ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值