当trainloss和valloss同步下降，表示网络在学习；若trainloss下降但valloss上升，可能过拟合，需数据增强和正则化；trainloss和valloss不变可能是学习瓶颈，调整学习率或批量大小；valloss在trainloss不变时下降，数据集问题；两者均上升，网络或超参数问题。BatchSize影响训练稳定性。
train loss 下降⬇，val loss下降⬇，说明网络仍在学习；~~ 奈斯，继续训练
train loss 下降⬇，val loss上升⬆，说明网络开始过拟合了；~~ 赶紧停止，然后数据增强、正则
train loss 不变，val loss不变，说明学习遇到瓶颈；~~ 调小学习率或批量数目
train loss 不变，val loss下降⬇，说明数据集100%有问题；~~ 检查数据集标注有没有问题
train loss 上升⬆，val loss上升⬆，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。一般不会遇到。
轻微震荡一般是正常的，在一定范围内，一般来说 Batch Size 越大，其确定的下降方向越准，引起训练震荡越小，如果震荡十分剧烈，那估计是Batch Size设置的太小了吧。。。
扫一扫
3609
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
