改善过拟合的几种方法

写在前面

本博客没有任何的数学公式的推导，只是记录一下自己理解过拟合的心路历程

什么是过拟合?

过拟合是机器学习中很重要的概念，目标函数Z中高次项越多，模型的非线性拟合能力会越强，拟合数据的时候会有更少的限制，从何实现“放飞自我”。简单的理解就是模型“过度”学习了，如下图的训练阶段模型拟合数据的情况来看，蓝线的误差要比红线大，但是只要测试的时候数据一多，就会出现训练的时候效果很好，但是测试的时候效果很差的情况。蓝线能使模型具备更强的泛化能力。

改善过拟合

1.增加训练数据量

通过增加数据量，可以让模型尽可能的少一些“变弯”，把他掰直一些。从而拟合更多的数据

2.使用L1,L2正则化

在损失函数中添加L1或L2正则化也可以改善过拟合。因为在我们反向传播更新各个神经元的权重（可以用矩阵W表示）的时候，我们是通过最小化损失函数来更新梯度的，加入正则项后，相当于是让W掌握一个“自我管理能力”，当拟合的曲线想要“变弯”的时候，我们在损失函数中加的正则项会由于反向传播需要最小化损失函数的要求，不能让W继续放飞自我，从“变弯”的趋势往回拉，从而改善过拟合。