10 应对loss为nan的问题

最新推荐文章于 2024-09-07 22:26:58 发布
最新推荐文章于 2024-09-07 22:26:58 发布
阅读量321 收藏 10
点赞数 3
分类专栏： 语音大创 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_73361455/article/details/140768050
版权

应对loss为nan的问题

把学习率再调小一点

configs/experiment/vocals_dis.yaml里

  1. 降低学习率

    把lr从0.000025改成 0.000005

  2. 梯度裁剪

    原本是

    trainer:
  devices: 4 # int or list
  sync_batchnorm: True
  track_grad_norm: 2
#  resume_from_checkpoint: /home/wujunyu/DTTNet-Pytorch/check_points/vocals_vocals_g32_10/checkpoints/last.ckpt
#  gradient_clip_val: 5

    然后可以把gradient_clip_val: 5的注释去掉

  3. 修改模型

    如果学习率改的很小还是nan，那么，模型里面可能梯度太大了，得调整一下模型的结构了（学习率太小学的很慢的）

PS：因为最后不打算做这个方向了，所以也没进一步修改模型。（肯定是得进一步修改模型的，激活函数，标准化函数，还有模型结构等等）

饮哉
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【目标检测】基于深度学习的SAR图像船舶目标检测(yolov5算法，附代码和数据集)
学无止境、积少成多、厚积薄发
04-19 872
基于深度学习的SAR图像船舶目标检测(yolov5算法，附代码和数据集)
【目标检测】基于深度学习的人体摔倒检测(yolov5算法，附代码和数据集)
学无止境、积少成多、厚积薄发
04-21 360
基于深度学习的人体摔倒检测(yolov5算法，附代码和数据集)
应对AI训练中的“NaN Loss”问题：原因分析与解决方案
热门推荐
沉淀、分享、成长，让自己和他人都能有所收获！
07-21 2万+
在AI模型训练中，很多开发者会遇到“NaN Loss”问题，这不仅会导致训练失败，还可能影响模型的性能。本文将详细分析“NaN Loss”的成因，提供具体的解决方法，并通过代码案例演示如何避免和解决这一问题。希望这些技巧能够帮助大家更好地进行AI模型训练。在本文中，我们详细分析了AI模型训练中“NaN Loss”问题的成因，并提供了具体的解决方案。希望这些技巧能够帮助你更好地进行AI模型训练。如果你有任何问题或更好的建议，欢迎在评论区分享！👇。
Faster RCNN loss_rpn_box_reg = nan分析
qq_33824968的博客
07-15 2075
首先整体架构使用的是torchvision0.3版本自带的模块。所以找问题都是从自己写的代码开始。 自己架构是否有问题： 固定一下optimizer = torch.optim.SGD(model.parameters(), lr = lr, momentum=0.9, weight_decay=1e-2) 1：图像处理：根据官方给的手册归一化到了[0, 1]之间应该没问题， 2：标签问题：tar...
大模型训练中Loss出现NaN的解决策略
weixin_41888295的博客
11-02 1391
在遇到类似问题时，通过检查并采取相应的措施，可以有效地解决loss出现nan的问题，提高模型训练的稳定性和性能。如果模型结构和训练过程也没有问题，那么可以考虑添加更多的训练数据或者调整模型的架构和参数来改进模型的性能。对于激活函数的选择，应尽量避免使用会导致梯度接近于0的激活函数，如sigmoid和tanh。在训练前，应对数据集进行检查和清洗，去除异常值和错误的标签数据。一些激活函数（如sigmoid和tanh）在输入值过大或过小的情况下，会出现梯度接近于0的情况，这也会导致loss无法收敛。
卷积神经网络训练时候出现nan错误
zehuawong的博客
02-28 7632
http://www.mamicode.com/info-detail-2167712.html 学习率设置为0.001时候出现了loss=nan错误 将学习率设置为0.0001后 1.问题一;训练CNN的时候出现nan CNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的...
训练yolov5最后一轮的精度突然下降，同时val_loss为nan是什么情况
07-14
1. 数据问题：验证集中可能存在异常数据或无效标签，导致计算损失时出现错误，进而导致损失值为 NaN。你可以检查验证集数据是否正确，并确保标签与图像匹配。 2. 学习率过大：如果学习率设置过大，可能会导致模型...
当BatchNormalize遇到异常值，导致预测结果都是NaN
iteye_9057的博客
06-01 2087
问题背景 最近使用DNN模型来做排序，发现近几天的NDCG离线指标下跌得很厉害。于是下载模型自己在本地评测了一下，预测结果都是NaN，于是把各层的模型参数以及各层的输出都打印出来，发现BatchNormalize中的moving_variance（方差）的某一维是NaN，最后一查果然是这一维特征异常了。为了把事情弄清楚，写这个blog记录一下。 BatchNormalize（BN）基础知识 BN的提出是为了解决神经网络中Internal Covariate Shift的问题，Internal Covaria
NeRFs应用于爆发去噪，处理大运动和高噪声情况下的挑战，并提出了NAN1方法
126720NAN：用于爆发去噪的噪声感知NeRFs0Naama Pearl，Tali Treibitz海法大学海洋科学学院海洋技术系，以色列0{npearl@campus,ttreibitz@univ}.haifa.ac.il0Simon Korman海法大学计算机科学系，以色列0skorman@...
卷积神经网络综述
XU157303764的博客
09-03 1048
本文对卷积神经网络（Convolutional Neural Network，CNN）进行了全面综述。首先介绍了卷积神经网络的发展历程，包括早期的理论基础和关键突破。接着详细阐述了卷积神经网络的结构组成，包括卷积层、池化层、全连接层等，分析了各层的作用和特点。然后探讨了卷积神经网络在图像识别、目标检测、语义分割等多个领域的应用，并介绍了一些典型的应用案例。此外，还讨论了卷积神经网络的训练方法和优化技巧，包括数据增强、正则化、超参数调整等。最后，对卷积神经网络的未来发展趋势进行了展望。
【深度学习 transformer】transformer 训练一个文本分类任务，超简单了
赖德发的博客
09-03 815
请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。在这个预测代码中，我们首先使用Happy Transformer的API加载训练好的模型。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
最新发布
loveting99的博客
09-07 438
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
基于深度学习的自动化产品设计
weixin_42605076的博客
09-07 491
基于深度学习的自动化产品设计通过结合生成模型、强化学习和仿真技术，实现了产品设计流程的高效化和智能化。这种方法为工业、建筑、时尚等多个领域带来了创新的可能性，同时也面临着数据、效率和信任度等方面的挑战。随着深度学习技术的不断发展和成熟，自动化产品设计将在更多领域中发挥重要作用，并促进更智能、更创新的设计实践。
构建并训练卷积神经网络（CNN）对CIFAR-10数据集进行分类
异构算力老群群（在读985计算机博士生）的技术博客
09-06 1216
接下来，我们定义一个简单的卷积神经网络。该网络包含三个卷积层，两个池化层，以及两个全连接层。self.fc1 = nn.Linear(64 * 8 * 8, 64) # 考虑到池化层后的尺寸return x。
【机器学习】深度学习的现实应用——从图像识别到自然语言处理
Allen-
09-05 1875
深度学习（Deep Learning）是一种基于人工神经网络的机器学习技术，通过构建多层神经网络模型来模拟人类大脑的思维方式。与传统的机器学习方法相比，深度学习可以自动学习数据的特征，避免了手动设计特征的复杂过程。
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-04 920
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
深度学习--机器学习相关（1）
m0_63860007的博客
09-04 1190
过拟合是指模型在训练数据上表现得很好，但是在新的、未见过的数据上表现不佳，即模型的泛化能力差。正则化通过在损失函数中添加一个额外的项来实现，这个额外的项通常与模型的复杂度相关，目的是惩罚模型的复杂度。算法通过计算损失函数在当前参数下的梯度，然后沿着梯度的反方向更新参数，以此减小损失函数的值。梯度平缓通常指的是在梯度下降算法中，当梯度（即损失函数对参数的偏导数）的值变得非常小，接近于零时，参数更新的幅度也会变得很小，这意味着我们接近了损失函数的最小值。在模型的内部，数据经过了非线性变换很难能够保持同分布。
深度学习（八）-图像色彩操作
weixin_40198632的博客
09-04 1013
图像色彩调整亮度调整对HSV空间的V分量进行处理可以实现对图像亮度的增强。直接将彩色图像灰度化，也可以得到代表图像亮度的灰度图进行图像处理，计算量比HSV颜色空间变化低。但在HSV空间中进行处理可以得到增强后的彩色图像。opencv读取图片是BGR，需要使用时需要进行转换饱和度调整对HSV空间的S分量进行处理可以实现对图像饱和度的增强。饱和度的调整通常是在S原始值上乘以一个修正系数。修正系数大于1，会增加饱和度，使图像的色彩更鲜明；修正系数小于1，会减小饱和度，使图像看起来比较平淡。
Alexnet中loss为Nan
05-15
在深度学习中，当损失函数（loss function）返回NaN时，通常是由于数值不稳定性（numerical instability）导致的。这可能是由于输入数据中存在异常值（如NaN或inf），或者由于数值上溢或下溢（数值过大或过小）导致...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值