pytorch RNN训练loss出现nan

已于 2022-11-03 10:32:37 修改
阅读量976 收藏 1
点赞数 2
分类专栏： Python日常使用问题 文章标签： pytorch rnn 深度学习
于 2021-10-02 17:48:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenquanle/article/details/120587728
版权

我是通过打断点判断出来的。

（1）利用torch.any(torch.isnan(input))判断自己所有的输入是否有问题（我发现我的输入tensor中有一维的特征有nan，是因为最大最小值归一化的时候，max和min是同一个数，造成除数为0，结果产生了nan，LSTM、GRU学出来的全是nan）

（2）输出网络中每一层的输出，看看nan是哪里产生的（我是在输入和LSTM/GRU单元部分产生的）

（3）找到nan的原因，解决掉nan

羊肉串儿加点辣
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 单机多GPU训练RNN遇到的问题
01-06
在使用DataParallel训练中遇到的一些问题。 1.模型无法识别自定义模块。 如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel(net)之后，原来的net会被封装为新的net的module属性里。 解决方案：所有在net = torch.nn.DataParallel(net)后调用了不是初始化与forward的属性，需要将net替换为net.module。 2.隐藏状态不被拆分到多GPU里。 这种错误常出现在RNN以及衍生
python为什么会出现nan_python - 深度学习Loss Nan的原因
weixin_39805720的博客
12-09 3078
在深度学习中Loss出现Nan的可能原因有哪些？也许这个问题太笼统，但是谁能大致解释下导致卷积神经网络发散的原因呢？问题细节：我正在使用Tensorflow的iris_training模型以及一些我自己的数据，老是出现以下报错：ERROR:tensorflow:Model diverged with loss = NaN.Traceback...tensorflow.contrib.learn.p...
训练神经网络时train loss或是validation loss出现nan
qq_41663215的博客
08-28 5005
最近使用带有SE block的网络在pytorch框架下做训练。training loss 随着epoch增多不断下降，但是突然到某一个epoch出现loss为nan的情况，但是两三个epoch之后，loss竟然又恢复正常，而且下降了。 这几篇博客是我debug的借鉴，真的非常有用。 这篇介绍了出现nan的基本解决思路。 https://blog.csdn.net/qq_32799915/article/details/80612342 这篇介绍了为什么在多层dense layer之后某一层dense la
【Loss为Nan】关于深度学习训练过程中出现Loss为Nan的问题
weixin_46751388的博客
06-06 480
深度学习训练过程中出现Loss为Nan的问题
[深度学习] 梯度消失与梯度爆炸、Loss为Nan的原因
北望花村
08-04 2万+
现象 如何确定是否出现梯度爆炸？ 在训练过程中出现梯度爆炸会伴随一些细微的信号，如： （1）模型无法从训练数据中获得更新； （2）模型不稳定，导致更新过程中的损失出现显著变化； （3）训练过程中，模型的损失变为Nan。   梯度消失与梯度爆炸原因 首先，来看神经网络更新梯度的原理，即反向传播算法。 详细推导参考：反向传播算法 通过反向传播算法更新梯度的公式可以看到，影响梯度...
pytorch排查loss值出现nan的情况
qq1803291168
11-03 1300
pytorch 排查 loss值为 nan 的情况
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 4万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
Pytorch训练CRNN输出为NaN
一听音频技术
11-25 1091
记录一个非常隐蔽pytorch训练audio相关的Bug。
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
pytorch训练网络时候出现loss nan的几种情况及解决方法
CaiDou的博客
06-30 4369
训练深度学习网络的过程中出现 loss nan总是让人觉得头疼，本人这次是在pytorch的半精度amp.autocast, amp.GradScaler训练时候出现了loss nan。loss nan 常见的一般几种情况有：lr学习率设置的过大，导致loss nan，调小lr；训练数据中有脏数据，也会导致loss，这个需要自己排查，batch设置为1，遍历所有训练数据遇到nan就打印数据路径再退出； 网络计算过程中可能存在nan，但这种可能比较少见。等等；计算loss时候出现nan，特别是众多交叉熵损..
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
Pytorch 实现RNN分类.zip
01-22
Pytorch 实现RNN分类
解决Pytorch训练过程中loss不下降的问题
09-18
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习框架pytorch：tensor.data和tensor.detach()的区别
huanfeng_AI的博客
04-24 100
现在来看大家还是推荐使用detach(）方法，然后当tensor的requires_grad=False情况下，tensor.data或者tensor.detach（）与tensor等价，而当tensor的requires_grad=True情况下，tensor.data为获取tensor中的数据。
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
qq_44665283的博客
04-23 936
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
PyTorch与深度学习
最新发布
beautifulmemory的博客
04-27 931
超参数# 定义卷积神经网络模型nn.ReLU(),nn.ReLU(),return out# 损失函数和优化器# 测试模型total = 0print('测试集准确率: {} %'.format(100 * correct / total))这就是一个简单的深度学习程序示例，使用PyTorch构建和训练卷积神经网络对手写数字进行分类。你可以根据需要进行修改和扩展。
Pytorch：Dataset类和DataLoader类
m0_63997099的博客
04-24 785
Dataset是一个抽象类，用于表示一个数据集的全部内容。在 PyTorch 中，任何继承自的自定义数据集需要实现两个必须这个方法应该返回一个索引处的数据点和其对应的标签。例如，在图像数据集中，这可能是一对（图像，标签）。这个方法返回数据集中的数据点的总数，即数据集的大小。DataLoader是一个迭代器，用于将Dataset封装成易于访问的数据流，支持批量加载和多进程数据加载等操作。通过组合使用Dataset和DataLoader，PyTorch 用户可以高效、灵活地处理大规模数据集。Dataset。
搭建最新tensorflow 与pytorch环境
活到老、学到老
04-24 700
这将在您的用户家目录下创建一个名为 jupyter_lab_config.py 的文件，通常位于 ~/.jupyter/jupyter_lab_config.py（具体路径可能因操作系统而异）。请将 替换为您要安装的包名， 替换为具体的频道名，如 conda-forge、pytorch 等。如果没有报错且输出了 PyTorch 的版本号，并且（对于 GPU 版本）torch.cuda.is_available() 返回 True，说明安装成功。
Python PyTorch 获取 MNIST 数据
风信子
04-24 228
【代码】Python PyTorch 获取 MNIST 数据。
pytorch rnn
04-01
PyTorch RNN (Recurrent Neural Network) is a type of neural network that is designed to process sequential data, such as time series data, text, or audio. It is a powerful tool for modeling complex patterns in sequential data and has been widely used in natural language processing, speech recognition, video analysis, and other applications. PyTorch provides several built-in RNN modules, including LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit), and RNN (vanilla recurrent neural network). These modules can be easily integrated into a neural network architecture, allowing the model to learn from sequential input data and predict future outcomes. PyTorch RNNs can be trained using various optimization algorithms, such as stochastic gradient descent, Adam, and Adagrad, and can be fine-tuned using techniques like dropout, weight decay, and gradient clipping. Overall, PyTorch RNN is a powerful tool for processing sequential data and has been widely used in various applications, including natural language processing, speech recognition, and video analysis.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值