避免过拟合的常用方法
奥卡姆剃刀原则
奥卡姆剃刀定律(Occam’s Razor, Ockham’s Razor)又称“奥康的剃刀”,它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉(William of Occam,约1285年至1349年)提出。这个原理称为“如无必要,勿增实体”,即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做,用较少的东西,同样可以做好的事情。”
深度学习的过拟合问题
深度学习过程中,在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集,对训练集外的数据却不work。
解决过拟合的方法
添加噪声
如果原数据中存在局部噪声,那我们可以通过添加噪声可能可以抵消原本的噪声的影响.
提前停止测试
观察loss的曲线变化情况,训练测试验证集曲线平滑后即可停止训练,否则可能导致test的曲线上升,发生过拟合
数据集扩增
通过改变图像的亮度,旋转,切分等操作,增大数据集样本量
用50000个MNIST的样本训练SVM得出的accuracy94.48%,用50