网络过拟合处理方法

过拟合定义

模型在训练集上的表现很好，但在测试集和新数据上的表现很差，训练集分类准确率能达到99%，持续训练测试集准确率达到70%后不再上升。

解决方法

1. Missing sample data

2. Early Stop
3. Regularization
4. Dropout
5. Network Sructure

1、Missing sample data 缺少样本数据

过拟合问题万能解决办法就是增加样本数据，1、数据增广，2、增加采样。

2、Early Stop 提前终止

“早停止”很好理解，就是在validation的error开始上升之前，就把网络的训练停止了。这就是寻找最好模型的trick之一吧。

如图虚线处停止训练

3、Regularization 正则化

正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。例如，L1、L2、BN操作都是降低过拟合的操作。

4、Dropout

dropout的直接作用是减少中间特征的数量,从而减少冗余,即增加每层各个特征之间的正交性，一般设0.5开始测试。

5、Network Sructure

确实是网络机构设计的问题，多借鉴经典网络设计思想。