避免过拟合的常用方法

避免过拟合的常用方法

奥卡姆剃刀原则

奥卡姆剃刀定律（Occam’s Razor, Ockham’s Razor）又称“奥康的剃刀”，它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出。这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。”

深度学习的过拟合问题

深度学习过程中，在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。

解决过拟合的方法

添加噪声

如果原数据中存在局部噪声,那我们可以通过添加噪声可能可以抵消原本的噪声的影响.

提前停止测试

观察loss的曲线变化情况，训练测试验证集曲线平滑后即可停止训练，否则可能导致test的曲线上升，发生过拟合

数据集扩增

通过改变图像的亮度，旋转，切分等操作，增大数据集样本量
用50000个MNIST的样本训练SVM得出的accuracy94.48%，用50