Loss上升,精度却也上升?

1、情况说明

在训练中遇到了下图验证集损失先降后升,这是典型的过拟合,但是此时验证集精度却仍然在上升(直觉认为Loss上升变差应当精度下降变差),这种反直觉的现象引发了思考

在这里插入图片描述

2、分析

首先说的比较详细的是这篇博客深度学习相关问题的记录:验证集loss上升,准确率却上升,其实原理也很简单,比如你的BatchSize=5,其中有1个错了,那么你的精度为80%,但是如果错了的这个输出非常离谱计算出来的Loss很大(比如[0.000001,0.2,0.33339,0.2,0.2]和[1,0,0,0,0]这个输出虽然错误了,但是根据0.00001和1计算出的Loss却会很大)(也就是数据集中存在hard case导致突变),那么5个Loss的均值Loss也就很大。反之如果有2个错了,但是输出和正确的差一丢丢,计算出来的Loss可能比较小,平均Loss也就比较小。所以可以看出Loss和精度并非强相关联系。而且如果你设计的Loss不同,那么更有可能出现或者避免这种现象。

综上,Loss只是指导模型优化的指标,而不是模型性能的指标,所以要看模型效果,到底怎么样:看精度不看Loss

3、解决办法(只是收集,未验证)

  • Droupout太猛了:训练时加了dropout后train loss正常下降,解决了过拟合,但是验证时没有dropout层,Loss就慢慢上升了,也就是在训练和验证时区别太大。

对于Val Loss先降后升,其实就是针对过拟合的解决办法:

  • 增加训练样本
  • 增加正则项系数权重,减小过拟合
  • 加入早停机制,ValLoss上升几个epoch直接停止
  • 采用Focal Loss
  • 加入Label Smoothing

4、引用

  • 9
    点赞
  • 56
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
回答: 当loss下降但精度也下降时,可能存在以下几种情况。首先,可能是模型过拟合了。过拟合指的是模型在训练集上表现良好,但在验证集或测试集上表现较差。这可能是因为模型过于复杂,过度拟合了训练数据的噪声和细节,导致在新数据上的泛化能力较差。解决过拟合的方法包括增加训练数据、减少模型复杂度、使用正则化等。其次,可能是数据集中存在一些难例(hard case),这些难例导致了loss的突变。即使模型在大多数样本上表现良好,但在这些难例上表现较差,导致loss较大。这种情况下,loss精度之间并非强相关。最后,可能是代码实现上的问题。可能存在错误的代码逻辑或参数设置不当等问题,导致模型无法正确学习和优化。因此,当loss下降但精度也下降时,需要仔细检查模型的复杂度、数据集的特点以及代码实现等方面,找出问题所在并进行相应的调整和改进。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [Loss上升精度却也上升?](https://blog.csdn.net/qq_40243750/article/details/126845821)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [训练和测试的loss不下降,并且精度超低](https://blog.csdn.net/lanmy_dl/article/details/125894774)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是一个对称矩阵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值