动手学深度学习——学习率过大导致loss出现nan

最新推荐文章于 2024-04-26 16:51:33 发布
最新推荐文章于 2024-04-26 16:51:33 发布
阅读量260 收藏
点赞数 2
文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_66573641/article/details/136534582
版权

b站看视频的时候李沐老师将学习率从0.001改成10，loss就出现了nan，老师的解释是说求导过程可能分母出现了0，但学习率lr压根不参与求导，只影响参数迭代的变化值，所以我简单更改了一下梯度更新代码

每次梯度更新打印一遍参数，结果如下：

可以看出是参数迭代超出了计算机的计数范围，而不是梯度出现无穷值

大危161
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
《动手学深度学习》——笔记2
01-20
当模型过于复杂时，可以简化模型参数或者加入L2正则化对参数进行惩罚，也可以采用丢弃法泛化误差不会随着训练数据集里的样本数量增加儿增大，所以通常选择大一些的训练数据集。 欠拟合：无法得到较低的训练误差。...
python神经网络训练损失率nan_训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？——我自己是因为data有nan的坏数据，clear下解决...
weixin_39769183的博客
12-05 618
梯度爆炸原因：梯度变得非常大，使得学习过程难以继续现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了NaN。措施：1. 减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss layer，需要找出哪个损失层导致了梯度爆炸，并在train_val.prototxt中减小该层的loss_weight，而...
[课程笔记]（李沐-动手学深度学习）
weixin_38800498的博客
06-09 5158
比如y=|x|的导数，可以在[-1,1]之间取任意值 将导数拓展到向量->梯度 第一种情况：y标量x向量 （y标量x向量）补充：内积 可以这样来理解向量内积：向量a、b的内积等于向量a在b方向的分量（或投影）与b的内积，当a、b垂直时，a在b方向上无分量，所以内积为0。其他几何意义：从内积数值上我们可以看出两个向量的在方向上的接近程度。 当内积值为正值时，两个向量大致指向相同的方向（方向夹角小于90度）； 当内积值为负值时，两个向量大致指向相反的方向（方向角大于90度）； 当内积值为0时，两个向量互相垂
深度学习训练过程中loss出现nan的原因及可采取的方法
m0_52571323的博客
01-02 3750
在pytorch训练过程中出现loss=nan的情况，梯度爆炸。 可采取的办法： 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决，比如log(x + 微小量)，避免无穷大。 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，同样的需要检查数据集 今天遇到这个问题的时候，修稿了学
【动手学深度学习】李沐——多层感知机
FavoriteStar的博客
10-15 1261
【动手学深度学习】李沐——多层感知机章节的学习记录，包括代码的解释及个人见解。
《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记
01-07
动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶 卷积神经网络基础 目录： 1、卷积神经网络的基础概念 2、卷积层和池化层 3、填充、步幅、输入通道和输出通道 4、卷积层的简洁实现 5、池化层的简洁实现 1、...
深入思考 深度学习——小学数学深度学习的路径探索.pdf
08-18
深入思考 深度学习——小学数学深度学习的路径探索.pdf
[深度学习]动手学深度学习笔记-6
01-20
Task-3——循环神经网络进阶 6.1 长短期记忆（LSTM） 6.1.1 理论知识理解 理解LSTM网络 6.1.2 LSTM的从零开始实现 以下附上代码： 导入相应的包 import numpy as np import torch from torch import nn, optim ...
《动手学深度学习——机器翻译及相关技术，注意力机制与seq2seq模型，Transformer》笔记
01-20
动手学深度学习：机器翻译及相关技术，注意力机制与seq2seq模型，Transformer 初次学习机器翻译相关，把课程的概念题都记录一下。 目录： 1、机器翻译及相关技术 2、注意力机制与seq2seq模型 3、Transformer 1、机器...
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
最新发布
q742971636的博客
04-26 387
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
勾八头歌之RNN
m0_62470904的博客
04-23 465
【代码】勾八头歌之RNN。
【深度学习（1）】研0和研1如何上手深度学习及定方向
weixin_46050242的博客
04-23 236
0基础上手深度学习 包括书籍pdf以及一些推荐的视频
【TensorFlow深度学习】TensorFlow数据类型详解与数值精度影响
yuzhangfeng的博客
04-23 1095
创建全为-1的张量TensorFlow提供的数据类型和数值精度选项为深度学习模型的开发提供了灵活性。开发者应根据具体的应用场景和需求，选择合适的数据类型和数值精度，以平衡模型的性能和结果的准确性。
2024-04-23 问AI: 在深度学习中，介绍一下u-net模型。
baidu_24377669的博客
04-23 916
在U-Net模型的最底部和最顶部之间，存在一个跳跃连接（skip connection），这是U-Net的一个关键创新。此外，由于其结构的对称性和跳跃连接的存在，U-Net在训练时可以利用较少的样本进行高效的网络学习。总的来说，U-Net模型通过其独特的对称结构和跳跃连接，实现了在图像分割任务中的精确且高效的性能。总的来说，U-Net是深度学习领域的一个重要模型，特别是在需要精确图像分割的应用场景中，U-Net展现出了强大的性能和灵活性。U-Net是一个专门为生物医学图像分割设计的深度学习模型，它以其。
深度学习-N维数组和访问元素
Einstein·Jun
04-23 212
N维数组是机器学习和神经网络的主要数据结构。
深度学习基础之《TensorFlow框架（14）—TFRecords》
csj50的专栏
04-23 419
1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。
深度学习下的视觉SLAM综述
一点人工一点智能的博客
04-23 1126
本综述涵盖了深度学习技术应用到SLAM领域的最新研究成果，重点介绍和总结了深度学习在前端跟踪、后端优化、语义建图和不确定性估计中的研究成果,展望了深度学习下视觉SLAM的发展趋势，为后继者了解与应用深度学习技术、研究移动机器人自主定位和建图问题的可行性方案提供助力。
学习率过大出现nan的具体原因
05-12
学习率过大可能会导致训练过程中的梯度爆炸或梯度消失问题，这会使得模型的参数更新出现异常，导致出现NaN值。具体原因包括： 1. 梯度爆炸：在反向传播过程中，梯度值可能会变得非常大，导致更新的参数值变得非常大，超出了计算机可以表示的范围，从而出现NaN值。 2. 梯度消失：对于深度神经网络而言，如果学习率过大，可能会导致梯度消失问题。这是因为在反向传播过程中，每个层的梯度都要乘以该层的权重矩阵，如果权重矩阵的范围很小，那么在反向传播过程中，梯度会越来越小，最终变得非常小，甚至接近于0，从而导致权重更新几乎不可见，也可能导致出现NaN值。 3. 数值不稳定：当使用浮点数计算时，如果学习率过大，可能会导致数值不稳定问题。这是因为浮点数计算的精度有限，当数值变得非常大时，可能会失去精度，导致数值不稳定，从而出现NaN值。 因此，我们需要根据具体情况适当调整学习率，避免出现NaN值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值