训练loss很低，测试loss振荡不收敛

已于 2024-07-29 14:55:31 修改
阅读量164 收藏
点赞数 2
文章标签： python 人工智能 深度学习
于 2024-06-27 10:38:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cherryna1027/article/details/140006956
版权

1.有可能真的是过拟合，按照过拟合的思路去解决，比如在fc层前加个概率0.5的dropout层、减少模型的层数。
2.最好检查一下你的数据，数据才可能是真的问题所在，这是所有东西的根基，比如数据标签是否和样本对齐，数据是否有缺漏，数据是否有乱七八糟的混进来，本身一个周期到底包含多少帧等等等

把所有预测错误的样本输出了一下，我发现有些样本完全就是异常样本，我竟然没有处理，处理之后，好多了

cherryna1027
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
人工智能_大模型041_模型微调001_ChatGLM函数调用功能测试_微调前后功能对比_lora微调_HuggingFace模型训练利器_模型训练流程---人工智能工作笔记0176
添柴程序猿的专栏
04-26 78
学习率的大小直接影响到模型的训练速度和最终结果的准确性。这里计算loss,可以理解为正态分布中计算y的值,因为训练数据y值已知,通过函数计算得到,学习率,直到学习率收敛到合适的值。训练器的超参数指的是,指定学习率的,批次的大小,求解器的类型和参数 学习率的调节方式 dropout概率。5.在训练器进行训练之前还需要,给训练器配置超参数,这里指的是,模型的参数和训练的参数,模型的参数主要是。AI开发的重点,在于跟其他传统开发不一样的地方就是,在做AI开发的时候,需要大量的实验,看实际的效果,
训练集验证集Loss都很低，并且趋于不变，同时两者精确度也不高
qq_37700539的博客
08-04 8280
网络输出垃圾，没有学习到任何东西Loss和accuracy都不改变，并且很低查看数据集标签与数据是否对应查看验证集和测试集是否进行数据预处理，包括归一化均值化查看loss损失函数是否选择正确，是否与标签格式相对应查看最后的分类器是否激活函数选择正确，sigmoid和softmax区别 Loss和accuracy都不改变，并且很低 这说明搭建的网络没有学习到任何东西，是网络搭建有问题，并不是过拟合或者欠拟合。分析： 查看数据集标签与数据是否对应 有时候在打乱数据集时，标签没有跟上，导致数据和标签不对应，这样网
神经网络测试集loss不变_神经网络训练过程中不收敛或者训练失败的原因
weixin_39737233的博客
12-01 4166
在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。一、数据与标签没有对数据进行预处理。数据分类标注是否准确？数据是否干净？没有对数据进行归一化。由于不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数...
训练神经网络时，训练集loss下降，但是验证集loss一直不下降
weixin_44438120的博客
07-22 1万+
可以判定问题的原因来自两方面，一方面是模型过拟合，另一方面是训练集和测试机的数据域不同。 一、问题定位： 至于问题的定位排查，建议按照先易后难的角度，也就是先排查训练集和测试集是否存在数据域的不同，再排查模型是否过拟合。 1.关于数据域的排查 具体来讲就是查验训练集和测试集的数据分布不一致，具体来说有如下几点 （1）数据源分布不一样：例如在图像处理中，训练集的图像采集使用的是摄像头A拍摄的，而测试集是摄像头B拍摄的，但是摄像头A和B的拍摄效果差别较大（例如：图像成图的清晰度、对比度等）；在语音识别中，训练集
【机器学习】验证集loss震荡（loss的其他问题）
littlemichelle
03-05 7662
训练过程中发现，train loss一直下降，train acc一直上升；但是val loss、val acc却一直震荡。loss一会上一会下，但是总体趋势是向下的。“loss震荡但验证集准确率总体下降” 如何解决？
【机器学习】模型训练loss损失值正常下降，但是acc准确率精度却为零0
最新发布
qq_33700934的博客
06-19 893
如果模型在训练时使用了不同的标签集，或者预测时标签的处理方式与训练时不一致，那么精度可能会受到影响。2.类别不平衡：如果数据集中某些类别的样本数量远远多于其他类别，而模型又没有得到适当的处理（例如使用权重调整、重采样等），那么模型可能会偏向于预测数量最多的类别，导致其他类别的精度很低甚至为0。例如，在分类任务中，你可能需要确保你的代码正确地计算了精度（即正确分类的样本数除以总样本数）。1.模型性能差：模型可能还没有学习到任何有用的特征或模式，导致它的预测几乎总是错误的。
训练集Loss收敛，但是测试集Loss震荡的厉害？
qq_41387508的博客
08-05 1万+
问题场景 今天在调试模型的时候发现训练集上Loss已经收敛了，但是在验证集上Loss震荡的比较厉害，如下图所示： Loss曲线 原因分析 查阅网上各种博客后发现验证集Loss震荡的原因可能有如下： 数据问题，比如训练集和验证集相差太大，数据量太小；batchsize太小，模型学习的规律不够“普适”；loss函数不合适；学习率太大，模型陷入了局部最优点；模型的网络结构存在问题；...... 知道了大概的原因之后，就可以逐个进行排查了。 数据上，检查自己的数据集train和valid的划分情况，基本上数据的
【论文阅读】图像分割损失函数Segmentation loss odyssey
轻舟的万重重山
07-12 3051
本文参考文献：Ma, J. (2020). Segmentation loss odyssey. arXiv preprint arXiv:2005.13449. 其它参考网址 文中提到的损失函数的pytorch实现 文章目录1.基于分布的损失函数1.1 交叉熵(CE)1.2 加权交叉熵（WCE）1.3 TopKloss1.4 Focal loss1.5 Distance map penalized cross entropy loss (DPCE)2. 基于区域的损失函数2.1 Sensitivity-s
用yolov3 VOC训练自己的数据时出现的问题及解决方法
weixin_41659029的博客
04-11 4419
1.问题：各种out of memory 可能的原因：电脑显存不够，batch比较大，或者开了random = 1的时候带不动. 解决方法：darknet/cfg/yolov3-voc.cfg 文件最后面random = 0;，如果还不行就减小batch，以及减小batch/subdivisions。 2.问题：训练过程中出现大量的nan -nan,loss,avg啥啥都是nan 可能的原...
caffe 绘制训练集和测试集的loss和accuracy对比曲线
04-20
利用Caffe提供的脚本程序和Caffe训练日志画loss曲线与accuracy曲线。加强版，可以绘制对比曲线。辛辛苦苦修改作成的代码，大家还是给点儿资源分做鼓励吧，如果实在需要又没有资源分，请根据博客留下的联系方式联系我，发送到你邮箱。
PyTorch 微调终极指南：第 1 部分 — 预训练模型及其配置
gongdiwudu的专栏
08-09 6477
如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分，侧重于微调模型的不同方面。
神经网络调参：loss 问题汇总（震荡/剧烈抖动，loss不收敛/不下降）
starlight1231的博客
04-09 372
神经网络调参：loss 问题汇总（震荡/剧烈抖动，loss不收敛/不下降）
loss曲线震荡分析
热门推荐
yuanlunxi的专栏
02-26 6万+
计算机视觉交流群：677855967，欢迎大家加入交流。 Loss曲线震荡: 分析原因: 1:训练的batch_size太小 1. 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。 2. batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形...
deep learning
release11的博客
04-14 389
过拟合一般指过度在训练集上进行优化，反而损害了测试集上的泛化能力的现象。一般出现训练集的loss下降，测试集的指标不降反增，就说明出现了过拟合。在模型层面我们可以通过Early Stop, L1/L2 Regularization, Batchnorm, Dropout,weight decay等方法进行缓解。在输入数据层面，我们可以通过数据增广来进行缓解，如旋转，图像直方图正则化，以及Mixup等方法。
语音识别：深入理解CTC Loss原理
左左左左想
07-30 5万+
最近看了百度的Deep Speech，看到语音识别使用的损失函数是CTC loss。便整理了一下有关于CTC loss的一些定义和推导。由于个人水平有限，如果文章有错误，还恳请各位指出，万分感谢~附上我的github，欢迎各位的follow~~~献出小星星~1. 背景介绍  在传统的语音识别的模型中，我们对语音模型进行训练之前，往往都要将文本与语音进行严格的对齐操作。这样就有两点不太好： 严格对齐要
训练网络好坏的监察——loss
HHHAOA的博客
03-20 613
损失函数以及参数更新策略，因为如果损失函数是凸的，而且采用的梯度下降策略，在训练的过程中，训练集最多不下降，但是一般不会上升。1.训练集loss不断降低，但是测试集的loss先下降在增加说明模型过拟合了，一般adam优化器会经常出现这种情况，尝试使用其他优化器，同样可以加dropout，bn，做数据增广，加别的正则化试一下。2.训练集loss不断降低，但是测试集loss一直增加，查看训练集和验证集分布是不是一样，在划分之前先shuffle一下。
验证集loss低于训练集loss原因分析
paddle video_tag模型踩坑
07-07 6136
我在模型训练的过程中出现了验证集loss低于训练集loss的情况，通过搜集资料，总结归纳如下原因： 原因1：在训练中应用正则化，但在验证/测试中未应用正则化 如果在验证/测试期间添加正则化损失，则损失值和曲线将看起来更加相似。 原因2：训练loss是在每个epoch测量的，而验证loss是在每个epoch后测量的 平均而言，训练损失的测量时间是前一个时期的1/2。如果将训练损失曲线向左移动半个epoch，则损失会更好。 原因3：验证集可能比训练集更容易（否则可能会泄漏(leaks)） 验证loss低于训练l
测试集loss比训练集低
06-02
测试集的loss比训练集低通常是不常见的，但也不是完全不可能。这可能是由于以下原因： 1. 数据分布不同：训练集和测试集的数据分布不同，导致模型在测试集上的表现更好。这通常是由于数据采样或者划分不当导致的。 2. 数据量不同：测试集的大小可能比训练集的大小更小，这可能导致模型更容易在测试集上表现良好。这也可能是由于数据采样或者划分不当导致的。 3. 模型过拟合：模型在训练集上过拟合了，导致在测试集上表现不佳，而测试集的数据分布和数量与训练集不同，使得模型在测试集上的表现更好。 如果测试集的loss比训练集低，建议针对以上原因进行分析和调整。特别是要确保数据采样和划分的正确性，以及模型没有过拟合。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值