深度学习（神经网络）训练时loss不变的可能原因

最新推荐文章于 2025-02-25 12:14:26 发布
最新推荐文章于 2025-02-25 12:14:26 发布
阅读量5.1w 收藏 127
点赞数 29
分类专栏： Pytorch 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44405644/article/details/106223590
版权
本文探讨了深度学习模型在训练时loss值不变的问题，包括训练集和测试集loss恒定的背景。可能的原因涉及数据预处理、初始化权重、学习率设置以及损失函数的编写。解决方案建议对数据进行归一化，检查初始化方法，适当调整学习率及优化器参数，以及避免梯度消失或爆炸问题。此外，还特别提到了sigmoid饱和导致的loss不变，并推荐使用ReLU替换sigmoid。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、训练背景

  1. 模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题
  2. loss采用的是交叉熵和Focal loss(测试Focal loss性能)
  3. 优化方式采用的是Adam+StepLR

二、LOSS不变的原因

1. 背景：训练集和测试集的loss都不变了或者训练集的loss完全不变(是严格的不变了)

在这里插入图片描述

2.loss不变的处理办法
1. 首先参考网上的策略

-1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀)
-2. 初始化权重问题：这个的话我使用的是Pytorch，然后model里面有默认的初始化方法(而且都相对较为合适)，列入我使用的Linear层默认的初始化方法就是He 初始化了。
-3. 学习率过大：对于模型中的激活函数是饱和类型函数的情况，可能会造成激活函数饱和而梯度为0，继而模型无法进行参数更新。

2. 自己实践摸索

-1. 由于loss函数书写的问题：
这个参考上一个博文，我使用的是Focal loss 和自己写的交叉熵，由于在训练过程中sigmoid的存在，出现了饱和的现象，导致了loss的不变；
具体原因如下：由于自

最低0.47元/天 解锁文章
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 32万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
PyTorch深度学习实战（11）——卷积神经网络
盼小辉丶的博客
08-14 1万+
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
神经网络模型不收敛，Loss不下降
RechelMx的博客
05-12 1107
LearningRate设置过大，会带来跑飞的问题。可能性最大的原因是：Relu激活函数与Softmax（带有exp的loss函数）同时使用。如果数据太少尽量缩小模型复杂度。考虑减少层数或者减少kernel number。为什么同时使用两种函数产生loss跑飞问题？
【报错】训练过程loss曲线完全不变（叶子节点）
最新发布
2402_83131238的博客
02-25 612
（而且logits被认为是叶子节点我尚能理解，loss定义如下，loss = torch.abs(torch.sum(logits[7:800:8]) - torch.sum(logits[3:800:8]) - torch.sum(logits[5:800:8]) + torch.sum(logits[1:800:8]))，为什么loss也是叶子节点呢？logit的grad_fn为none，grad为向量，is_leaf为True，requires_grad为原本是false，现在被我设置成了true。
【chatgpt】训练过程loss基本不变化说明什么
Never Give Up
06-24 619
通过适当调整学习率、增加模型复杂度和训练轮数，可以有效解决训练过程中损失不变化的问题。此外，还需确保数据预处理正确、激活函数适当，避免梯度消失问题。这样可以使模型在训练过程中更好地学习和收敛。
有关神经网络模型训练过程中loss值始终变化不大的问题
代码的女朋友的博客
03-02 1万+
最近在训练一个神经网络模型，遇到了loss值始终不变的问题。 简要说一下，我训练的是一个分类器，是一个最后分类数为6的多元分类问题，但模型在训练多个轮次后准确度仍然在16.67%左右，loss值基本没有怎么变化，也就是说，我的模型参数并没有怎么变化，相当于没有在学习。 在网上查了各种资料后，我尝试了以下几种方法： 1.加大训练轮次 起初，我以为是我的模型训练轮次太少，但发现加大训练轮次后并没有效果，该方法对我的模型不适用 2.增大学习率 最开始我的模型优化器为Adam，学习率设置为1e-3，我认
深度学习 loss不下降的解决方法，最全
A_pinkpig的博客
09-08 2万+
  当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。 一、训练集loss不下降   训练集的loss在训练过程中迟迟不下降，一般是由这几个方面导致的。 1.模型结构和特征工程存在问题   
训练中loss值一直完全不变的问题
yzc1546802196的博客
10-06 2784
上网检索后，发现有大佬说是激活函数的饱和问题当输入值过大时，激活函数的输出接近饱和值（如 Sigmoid 的输出接近 0 或 1），这会导致其梯度接近于 0（梯度消失问题）。因此，反向传播时，模型参数的梯度更新几乎为 0，无法有效更新参数。今天在训练代码时遇到了loss一直不变的情况，每个epoch的验证集损失一直恒定是一个数，不管小数点后多少位都是一个数。损失一直固定，验证集的数据集又是固定的，我分析认为每个epoch训练后模型的状态是一致的，也就是模型没有正常更新！
[深度学习] loss不下降的解决方法
热门推荐
currycode
04-10 15万+
链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一...
深度神经网络的训练过程,深度神经网络训练
aifamao6的博客
08-20 1082
传统神经网络（这里作者主要指前向神经网络）中，采用的是backpropagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。按我们的学习经验，从一个数据源开始——即使是用最传统、已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累出项目经验，才能更快、更靠谱的掌握深度学习技术。
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
深度学习中训练loss一直不变
TOPthemaster的博客
10-17 5436
训练loss一直不变 在之前的文章中，分别做了LeNet，NiNNet，AlexNet，VGGNet的训练测试，在NiN和VGG中，经常遇到训练时loss一直居高不下的原因，网上较为完善的解释一般如下： 我应该属于其中的第四种，反复修改了学习率，损失函数和momentum参数后，跑了很久它终于开始收敛了，数据集大概有60k，在经过两个epoch后，开始收敛，可能是由于心浮气躁，每次测试都只让记录了几个batch参数，每个batch1500张训练图左右，没看到效果，便认为它已经没有进步了放弃了，甚至怀疑自己
【网络训练】网络训练时loss不下降的原因
weixin_30752699的博客
04-03 1429
1. 网络训练时train loss与test loss的结果分析: (1) train loss不断下降，test loss不断下降 可能发生的原因： 网络还在学习中，loss在稳步下降。 (2) train loss不断下降，test loss趋于不变 可能发生的原因： 网络出现过拟合的现象，因此在训练集上表现为网络仍在学习，但是test loss趋于不变说明...
【ERROR】关于训练时以及开发集上loss丝毫不变的原因
ccbrid的博客
07-13 2869
记录一次马虎导致的BUG 事情起因： 最新在跑项目的代码，一切都好好的，直到我突发奇想加了个新model之后，一切诡异了起来。。。 代码逻辑是每训练一轮会在开发集上测三次，然后log打印每次测出的loss以及PRF指标，在改了model之后，在每一次打印的log中所有的数值都丝毫没有变化。。。 出现问题： 训练时以及开发集上loss丝毫不变 这说明了虽然模型每一轮都在训练，...
CNN训练过程Loss不下降，并且准确率不变。
m0_74148969的博客
09-06 798
不止一次出现这种情况，很多情况可能导致该现象出现，可能是学习率，梯度下降出现问题。这次是因为数据数值过大，加入BatchNorm层后解决该问题。
训练loss不下降原因
牛肉胡辣汤
11-08 4533
损失函数的选择是模型训练的关键步骤，它直接影响模型的学习和优化过程。在机器学习模型的训练过程中，我们经常会遇到一个问题，即模型的训练损失（loss）在一定的迭代次数之后不再下降。我们可以通过数据扩增的方法来增加训练数据的数量，提高模型的泛化能力。通过合适的数据预处理、模型复杂度控制、学习率调整和数据集规模扩增等方法，我们可以逐步解决训练loss不下降的问题，提高模型的性能。在构建深度卷积神经网络时，我们可以通过调整模型的层数、卷积核数量、全连接层大小等参数来控制模型的复杂度。合适的学习率是优化模型的关键。
loss不降低原因以及解决方法
ZauberC的博客
11-08 7428
知乎上还有个总结也挺经典train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。
loss损失不下降的原因
进击的扛把子
04-27 1万+
文章目录前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选取有问题验证集loss不下降1.适当的正则化和降维2.适当降低模型规模3.获取更多的数据集4.对数据集做扰动和扩增测试集loss不下降1.应用场景有问题2.噪声问题 前言 当我们训练一个神经网络模型的时候
PyTorch深度学习教程：掌握卷积神经网络
资源摘要信息: "Pytorch-pytorch深度学习教程之卷积神经网络.zip" 知识点概述： 本次提供的资源是一个关于使用PyTorch框架进行深度学习中的卷积神经网络（Convolutional Neural Networks，CNNs）的教程压缩包。...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值