过拟合与正则化

过拟合

我们的数据在训练集上可能表现的很好，但是在遇到新数据后表现就没有那么出色，叫做过拟合
以下是一个回归问题例子

第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。

分类中也存在这样的问题

就以多项式理解，x 的次数越高，拟合的越好，但相应的预测的能力就可能变差。
如果我们发现了过拟合问题，应该如何处理？

• 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（PCA）。
• 正则化。保留所有的特征，减少参数大小。

通俗解释就是：1. 尝试减少特征的数量；2. 尝试获得更多的特征；3. 尝试增加多项式特征；4. 尝试减少正则化程度λ；5. 尝试增加正则化程度λ。

正则化

针对以下模型

正是由于后面的高次项的影响，使得过拟合产生。简单来说，如果后面的高次项的系数接近与0，那么此模型就可以很好的拟合了。
所以我们要做的就是在一定程度上减小这些参数θ 的值，这就是正则化的基本方法。我们决定要减少${\theta }_3$和${\theta }_4$的大小，我们要做的便是修改代价函数，在其中${\theta }_3$和${\theta }_4$设置一点惩罚。这样做的话，我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小一些的${\theta }_3$和${\theta }_4$。

修改后的代价函数如下

通过这样的代价函数选择出的${\theta }_3$和${\theta }_4$ 对预测结果的影响就比之前要小许多。假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。结果得到了一个较为简单的能防止过度拟合的假设（m表示数据个数，n表示特征个数）。
带正则化的损失函数

正则化的两种形式（L1与L2）

L1正则化（Lasso）


L2正则化（Ridge）


L1正则化与L2正则化区别：

• L1是模型各个参数的绝对值之和；
• L2是模型各个参数的平方和的开方值；
• L1会趋向于产生少量的特征，而其他的特征都是0，因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0，产生稀疏权重矩阵。
• L2会选择更多的特征，这些特征都会接近于0，最优化的参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0，当最小化||w||时，就会使每一项趋近于0。