神经网络训练下降到一定程度不下降，测试集不变

最新推荐文章于 2024-06-13 11:24:43 发布
最新推荐文章于 2024-06-13 11:24:43 发布
阅读量549 收藏 1
点赞数
文章标签： 笔记 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42569234/article/details/134567598
版权

最近在整一些GCN+a+g模型，更改loss表达的时候发现有时候loss函数下降到一定程度不变，几个更改的方向可以参考，之后遇到继续更新：

1. 降低学习率，之前0.1改成0.01能跑了，当然看具体任务，尝试变为之前的0.1倍尝试即可

2.网络层数过高导致的梯度消失/过拟合，增加了一层FC之后loss异常了，仍然可尝试更改MLP部分或者降低学习率

3.loss函数设置，这个可能不一定会用到，是在尝试不同的loss函数遇到的，losses平均回传和loss回传会不同，中间还有一些对齐的细节需要注意

兔子天天都在睡觉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
解决Pytorch训练过程中loss不下降的问题
09-18
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习之Loss不下降原因分析篇
weixin_42028608的博客
03-02 6252
Train & Test Loss train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; t...
训练loss不下降原因
牛肉胡辣汤
11-08 2966
损失函数的选择是模型训练的关键步骤，它直接影响模型的学习和优化过程。在机器学习模型的训练过程中，我们经常会遇到一个问题，即模型的训练损失（loss）在一定的迭代次数之后不再下降。我们可以通过数据扩增的方法来增加训练数据的数量，提高模型的泛化能力。通过合适的数据预处理、模型复杂度控制、学习率调整和数据集规模扩增等方法，我们可以逐步解决训练loss不下降的问题，提高模型的性能。在构建深度卷积神经网络时，我们可以通过调整模型的层数、卷积核数量、全连接层大小等参数来控制模型的复杂度。合适的学习率是优化模型的关键。
loss损失不下降的原因
进击的扛把子
04-27 1万+
文章目录前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选取有问题验证集loss不下降1.适当的正则化和降维2.适当降低模型规模3.获取更多的数据集4.对数据集做扰动和扩增测试集loss不下降1.应用场景有问题2.噪声问题 前言 当我们训练一个神经网络模型的时候
[深度学习] loss不下降的解决方法
热门推荐
currycode
04-10 14万+
链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一...
train loss与test loss结果分析
荪荪的博客
05-11 3万+
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train loss 不断上升，test
loss下降到一定程度就基本没有变化，accuracy一直是在震荡
weixin_42678562的博客
09-27 1万+
loss已经很低了，但是accuraacy也是很低。
神经网络 测试集loss不下降_神经网络调参技巧
weixin_39950824的博客
12-05 2246
大部分内容转自：会写代码的好厨师：炼丹笔记六 : 调参技巧​zhuanlan.zhihu.com本期问题：深度学习中的调参技巧我们主要从以下几个方面分析：1. 哪些参数需要调？（what） 2. 什么时候需要调参？(when) 3. 如何调参？(how) 4. 训练网络的一般过程是什么？(recap)一、哪些参数需要调？（what）需要调参的都是超参数，也就是人为设定的参数！因此，这个问题还可以换...
BP神经网络模型训练集及测试集.zip
06-26
BP神经网络模型训练集及测试集.zip
神经网络训练集_神经网络_随机梯度_回归网络_梯度下降_
09-29
神经网络训练集 使用softmax回归进行MINST分类和随机梯度下降，小批量随机梯度下降
基于BP神经网络的数据集训练和测试
07-18
基于BP神经网络的IRIS数据集训练和测试，有完整的数据集和实现代码，直接运行即可得到结果，并显示，正确率，误差，迭代次数等参数
神经网络训练股票数据数据集
02-13
神经网络训练股票数据数据集
深度学习 loss不下降的解决方法，最全
A_pinkpig的博客
09-08 2万+
  当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。 一、训练集loss不下降   训练集的loss在训练过程中迟迟不下降，一般是由这几个方面导致的。 1.模型结构和特征工程存在问题   
神经网络_训练loss不下降原因集合
qq_36744449的博客
08-09 1万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数
Loss长时间不下降
weixin_43856668的博客
07-16 304
最近跑模型的时候，loss一开始下降很快，到0.69的时候，就维持不不变了 emmmm 之前也遇到了，改不动。。。 今天看到了一个宝藏博客，把代码中 nn.Dropout(p=0.5, inplace=False), 改成了 nn.BatchNorm1d(4096), 然后loss就下去了，acc就上来了[鼓掌????] 这是我的loss曲线： 正确率： 下面是原博客提到的： 原博客链接： https://blog.csdn.net/zongza/article/details/89185852
一文看懂训练集loss与测试集loss关系
09-07 3303
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化） train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;或者是数据集有问题（数据集标注错误数据比较多） train loss 不断上升，test loss不断上升，说明网络结构设计
神经网络训练时Loss不下降
weixin_40522580的博客
06-30 1135
具体表现：训练时loss小范围震荡，三分类问题准确率一直在1/3，训练几个epoch后网络对每个batch输出的得分完全一致 尝试很多方法，最终发现问题所在： 没有写optimizer.zero_grad() 其作用为：在进行下一次batch梯度计算的时候，前一个batch的梯度计算结果不应保留。所以在下一次梯度更新的时候，先使用optimizer.zero_grad把梯度信息设置为0。 ...
随心笔记，第六更
最新发布
leen的博客
06-13 468
今天给大家分享的是使用idea 将xml转为JavaBean，并且取其中的数据和其他的数据进行交互。
BP神经网络训练集和测试集
02-24
BP神经网络是一种常用的人工神经网络模型，用于解决分类和回归问题。在使用BP神经网络进行训练和测试时，需要将数据集划分为训练集和测试集。 训练集是用于训练BP神经网络的数据集，它包含了输入样本和对应的期望输出。通过反向传播算法，神经网络根据训练集中的样本进行权重的调整和优化，以提高网络的准确性和泛化能力。 测试集是用于评估BP神经网络性能的数据集，它包含了未在训练过程中使用过的样本。在训练完成后，将测试集输入到已经训练好的神经网络中，通过比较网络的输出和测试集中的期望输出，可以评估网络的准确性和泛化能力。 划分训练集和测试集的目的是为了验证神经网络在未见过的数据上的表现，以避免过拟合（overfitting）问题。通常情况下，将数据集按照一定比例（如70%训练集，30%测试集）划分即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值