神经网络训练下降到一定程度不下降，测试集不变

最新推荐文章于 2024-06-13 11:24:43 发布
最新推荐文章于 2024-06-13 11:24:43 发布
阅读量549 收藏 1
点赞数
文章标签： 笔记 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42569234/article/details/134567598
版权

最近在整一些GCN+a+g模型，更改loss表达的时候发现有时候loss函数下降到一定程度不变，几个更改的方向可以参考，之后遇到继续更新：

1. 降低学习率，之前0.1改成0.01能跑了，当然看具体任务，尝试变为之前的0.1倍尝试即可

2.网络层数过高导致的梯度消失/过拟合，增加了一层FC之后loss异常了，仍然可尝试更改MLP部分或者降低学习率

3.loss函数设置，这个可能不一定会用到，是在尝试不同的loss函数遇到的，losses平均回传和loss回传会不同，中间还有一些对齐的细节需要注意

兔子天天都在睡觉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
深度学习之Loss不下降原因分析篇
weixin_42028608的博客
03-02 6252
Train & Test Loss train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; t...
训练loss不下降原因
牛肉胡辣汤
11-08 2966
损失函数的选择是模型训练的关键步骤，它直接影响模型的学习和优化过程。在机器学习模型的训练过程中，我们经常会遇到一个问题，即模型的训练损失（loss）在一定的迭代次数之后不再下降。我们可以通过数据扩增的方法来增加训练数据的数量，提高模型的泛化能力。通过合适的数据预处理、模型复杂度控制、学习率调整和数据集规模扩增等方法，我们可以逐步解决训练loss不下降的问题，提高模型的性能。在构建深度卷积神经网络时，我们可以通过调整模型的层数、卷积核数量、全连接层大小等参数来控制模型的复杂度。合适的学习率是优化模型的关键。
loss损失不下降的原因
进击的扛把子
04-27 1万+
文章目录前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选取有问题验证集loss不下降1.适当的正则化和降维2.适当降低模型规模3.获取更多的数据集4.对数据集做扰动和扩增测试集loss不下降1.应用场景有问题2.噪声问题 前言 当我们训练一个神经网络模型的时候
神经网络_训练loss不下降原因集合
qq_36744449的博客
08-09 1万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数
训练loss不下降的原因总结
weixin_39422563的博客
06-08 1万+
表现：训练过程中loss值一直震荡，没有下降趋势 原因一：梯度消失；多因为网络深度过深，接近输入层的参数 梯度过小； 解决方法：调整网络，激活函数relu，batch normal等 原因二：训练数据分布不均匀；这种情况对训练数据shuffle即可 原因三：学习率过大或者过小；过大就会在loss最小处周围震荡，通常一开始会有一定下降；过小就是收敛太慢 tensorflow2中可以直接打出每个step的梯度值，便于发现问题 ...
loss不降低原因以及解决方法
ZauberC的博客
11-08 6371
知乎上还有个总结也挺经典train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。
深度学习 loss不下降的解决方法，最全
A_pinkpig的博客
09-08 2万+
  当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。 一、训练集loss不下降   训练集的loss在训练过程中迟迟不下降，一般是由这几个方面导致的。 1.模型结构和特征工程存在问题   
BP神经网络模型训练集及测试集.zip
06-26
BP神经网络模型训练集及测试集.zip
神经网络训练集_神经网络_随机梯度_回归网络_梯度下降_
09-29
神经网络训练集 使用softmax回归进行MINST分类和随机梯度下降，小批量随机梯度下降
基于BP神经网络的数据集训练和测试
07-18
基于BP神经网络的IRIS数据集训练和测试，有完整的数据集和实现代码，直接运行即可得到结果，并显示，正确率，误差，迭代次数等参数
神经网络训练股票数据数据集
02-13
神经网络训练股票数据数据集
loss下降到一定程度就基本没有变化，accuracy一直是在震荡
weixin_42678562的博客
09-27 1万+
loss已经很低了，但是accuraacy也是很低。
深度学习（神经网络）训练时loss不变的可能原因
weixin_44405644的博客
05-19 4万+
一、训练背景 模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题 loss采用的是交叉熵和Focal loss(测试Focal loss性能) 优化方式采用的是Adam+StepLR 二、LOSS不变的原因 1. 背景：训练集和测试集的loss都不变了、训练集的loss完全不变(是严格的不变了) 2.loss不变的处理办法 1. 首先参考网上的策略 -1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀) -2. 初始化权重
网络训练时loss不下降的原因
rover
11-18 3540
1. 网络训练时train loss与test loss的结果分析: (1) train loss不断下降，test loss不断下降 可能发生的原因： 网络还在学习中，loss在稳步下降。 (2) train loss不断下降，test loss趋于不变 可能发生的原因： 网络出现过拟合的现象，因此在训练集上表现为网络仍在学习，但是test loss趋于不变说明网络泛化能力差。 (3) train loss趋于不变，test loss不断下降 可能发生的原因： 数据集100%是...
【Pytorch】模型训练的时候遇到了训练loss不下降的问题
qq_48201917的博客
08-15 2436
记录自己解决模型训练输出始终一致，loss不下降的问题
[深度学习] loss不下降的解决方法
热门推荐
currycode
04-10 14万+
链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一...
随心笔记，第六更
最新发布
leen的博客
06-13 472
今天给大家分享的是使用idea 将xml转为JavaBean，并且取其中的数据和其他的数据进行交互。
BP神经网络训练集和测试集
02-24
BP神经网络是一种常用的人工神经网络模型，用于解决分类和回归问题。在使用BP神经网络进行训练和测试时，需要将数据集划分为训练集和测试集。 训练集是用于训练BP神经网络的数据集，它包含了输入样本和对应的期望输出。通过反向传播算法，神经网络根据训练集中的样本进行权重的调整和优化，以提高网络的准确性和泛化能力。 测试集是用于评估BP神经网络性能的数据集，它包含了未在训练过程中使用过的样本。在训练完成后，将测试集输入到已经训练好的神经网络中，通过比较网络的输出和测试集中的期望输出，可以评估网络的准确性和泛化能力。 划分训练集和测试集的目的是为了验证神经网络在未见过的数据上的表现，以避免过拟合（overfitting）问题。通常情况下，将数据集按照一定比例（如70%训练集，30%测试集）划分即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值