为什么正则化能缓解过拟合的情况

过拟合的时候，拟合函数的系数往往非常大，而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

说说为什么过拟合的时候系数会很大。

如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。

补充：

加上正则化项：包括L1正则化和L2正则化。

L1正则和L2正则这两者之间有什么区别？

1.数学形式，表现形式不同，L1正则是各个参数的绝对值的和，L2正则是各个参数的平方和。

且L1正则具有稀疏性（稀疏性就是可以使很多项参数等于0，进行特征选择的过程）。

为什么？

模型的复杂度和参数向量有关（参数越多越复杂，参数越少越简单），可以使我们的参数趋向于0，或等于0（这时代表着参数的个数减少了）。

经验风险最小值，假设损失函数为L2损失函数，我们的策略是让我们的经验风险最小化，这时会导致过拟合的问题，而这时我们需要对目标函数加上一个正则化项，将其变成结构风险最小化，这时加上L2正则，λ|w|2（w代表目标项），

1.那么我们怎么求loss最小值：求偏导， 最后要达到最优解那么就是方程对里面的未知参数求导都为0时成立。

2.要使模型不能太复杂，那么就可以对其进行约束，将其限制在一定范围内。

我们将经验风险最小化达到最小，同时我们要使得小于等于m，这时候要求不等式约束的最优化问题，KKT

那么就要对其进行改变，构造拉格朗日函数，如下，满足KKT后这时要求L（w）求导后等于0

常数求导不影响，故m不影响求导。那么，正则化项后相当于增添了一个约束。向量会被限制一定范围内。（因为他们的解空间是一样的）

参考链接：https://www.zhihu.com/question/20700829/answer/16395087