关于训练模型时的loss及相关指标分析

本文探讨了深度学习模型训练过程中常见的五种情况:1) 模型持续学习;2) 过拟合及应对策略,如正则化、数据增强等;3) 数据问题导致训练稳定;4) 学习瓶颈与调整方案;5) 模型结构错误及其排查。通过这些案例,帮助读者理解如何有效监控和优化模型训练。
摘要由CSDN通过智能技术生成

case1:train loss下降,val loss下降 <模型还在学习>

case2:train loss下降,val loss上升 <模型过拟合,1.做一些正则化,加大weight decay 2.数据增强 3.加大Batch Size 4.或者更改优化器从SGD改为Adam>

case3:train loss不变,val loss下降 <数据有问题,检测数据>

case4:train loss不变,val loss不变 <学习瓶颈,优化模型或调低学习或降低weight decay>

case5:train loss上升,val loss上升 <模型结构设计出现错误,检测模型代码/超参>

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值