过拟合的解决办法

一，过拟合的定义

模型在训练集表现良好，在测试集上效果较差，即为过拟合。

二，解决办法

分析过拟合的原因，根据不同的原因，提出不同的解决办法：

1. 获取更多的数据，

1) 获取更多的原数据：如猪脸识别，但是获取过程成本较高，因为人工拍摄费时费力，猪也在不停地运动；

2) 或者在原数据的基础上，进行数据增强（图像平移，旋转，镜像等)：如在物体分类问题里，物体在图像中的位置、姿态、尺度，整体图片明暗度等都不会影响分类结果。我们就可以通过图像平移、翻转、缩放、切割等手段将数据库成倍扩充；

2. 简化网络结构

3. early stop

4. 正则化

5. 增加噪声：在输入中增加噪声（效果类似正则化）；在权值中加入噪声（非零初始化)

6. dropout，实际效果其实是用不同的训练集训练了不同的网络模型，然后这些网络模型形成了一个整体的模型

 

参考：

1）欠拟合，过拟合