深度学习 - 对过拟合和欠拟合问题的处理

我们以图像形式说明下欠拟合、正常拟合、过拟合的场景，左图为欠拟合，此时算法学习到的数据规律较弱，有较差的预测效果，中图为正常拟合的形态，模型能够兼顾预测效果和泛化能力，右图是过拟合的情形，此时模型对训练集有较好的预测效果，但是因为其过度拟合于训练数据，所以对未见过的数据集有较差的预测效果，也就是我们通常说的低泛化能力。

欠拟合问题

欠拟合问题易于解决，其基本方式有：      

[1]增加迭代次数，使用更多的数据喂养模型，使得模型有更强的拟合能力。      

[2]增加网络的深度和广度，增大神经网络的'容量'，使得模型有更好的空间表示能力。

过拟合问题

在DNN中常用的解决过拟合方法有：

[1]早停策略。早停是指在使用交叉检验策略，每隔一定的训练次数观察训练集和验证集上数据的准确率，从而可以比较观察找到合适的训练次数，及时在下图红点出停止