深度学习中过、欠拟合解决办法总结

过拟合

模型过拟合说到底还是因为数据跟模型的参数不匹配，所以防止模型过拟合的方法大概可以分为四大类：数据方面、模型方面、损失函数、训练技巧方面。
1、数据方面：准备大量的数据，还可以用数据增强的方式产生大量数据；数据增强。（对颜色的数据增强：图像亮度、饱和度、对比度变化；尺度变换，对图像进行裁剪、缩放，水平/垂直翻转；高斯噪声、模糊处理）；数据清洗。

2、模型方面：(1)设计合适的模型，(2)选择预训练模型进行微调；
(3)在模型的中间使用BN层；(4)在模型的fc层处使用dropout；
BN层的解释：在训练中，BN的使用使得一个mini-batch中的所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果。

3、损失函数方面：通过在损失函数上添加正则项，要控制w的快速衰减，所以有L1、L2正则的方法。
解释：加上正则项后，在使得损失函数尽可能小的情况下，正则项的值也要尽可能小，由于正则项能让参数尽可能小，降低模型复杂度，也就能降低过拟合。（我们认为参数越大，模型越复杂）

4、训练技巧方面：(1)因为在训练时，训练误差是一直减小的，而测试误差是先减小再增大，所以在合适的时间(测试误差最小)停止训练（可以在训练时accuracy在10个epoch后还是不再提高，则可以选择停止。）；(2)bagging和其他集成方法

欠拟合

降低正则化约束
模型复杂化
增加训练次数

原文链接：https://blog.csdn.net/jadelyw/article/details/80450612