深度学习中常常会遇到模型过拟合的问题,这里简单总结一下过拟合的应对策略。
过拟合的原因及表现
过拟合的原因简单来说,就是模型的拟合能力远远高于需要解决的问题的复杂度,这就导致了在拟合出训练集数据正确规则的情况下,又拟合了噪声。表现为测试集的预测误差远远大于训练集的预测误差。(偏差小,方差大)
应对策略
更多的数据
原因: 让模型看到更多的数据,能够拟合更多的可能,测试集出现例外情况的概率就会更小。
方法: Data Augmentation:平移,缩放,裁剪,旋转…具体情况具体扩充。
调整网络结构
原因: 对于需要解决的问题来说,所用模型可能太复杂。
方法: backbone换起来~
early stopping
原因: 模型训练时间越长,对数据的拟合能力越强。