l2的最优回归_L1和L2正则化来源及其如何防止过拟合

一、L1和L2正则化目的

正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：

式中

、

为训练样本和相应标签，

为权重系数向量；

为目标函数，

即为惩罚项，参数

控制控制正则化强弱。不同的

函数对权重

的最优解有不同的偏好，因而会产生不同的正则化效果。最常用的

函数有两种，即

范数和

范数，相应称之为

正则化和

正则化。此时有：

---

二、L1和L2正则化来源推导

可从带约束条件的优化求解和最大后验概率两种思路来推导

、

正则化，下面将予以详细分析。

2.1、基于约束条件的最优化

对于模型权重系数

求解是通过最小化目标函数实现的，即求解：

为了限制模型的复杂度，思路是减少系数

的个数，即让

向量中一些元素为0或者说限制

中非零元素的个数。为此，我们可在原优化问题中加入一个约束条件：可用

、

范数来近似

范数，即：

或

使用

范数时，为方便后续处理，可对

进行平方，此时只需调整

的取值即可。利用拉格朗日算子法，我们可将上述带约束条件的最优化问题转换为不带约束项的优化问题，构造拉格朗日函数：

或

其中

，我们假设

的最优解为

，则对拉格朗日函数求最小化等价于：

或

可以看出，上式与

等价。故此，我们得到对

、

正则化的第一种理解：

• 正则化等价于在原优化目标函数中增加约束条件
• 正则化等价于在原优化目标函数中增加约束条件

2、基于最大后验概率估计

在最大似然估计中，假设权重

是未知的参数，从而求得对数似然函数：

通过假设

的不同概率分布，即可得到不同的模型。例如若假设

的高斯分布，则有：

式中

为常数项，由于常数项和系数项不影响

的解，因而可令

即可得到线性回归的代价函数。

在最大后验概率估计中，则将权重

看作随机变量，也具有某种分布，

从而有：

同样取对数有：

可以看出后验概率函数在似然函数的基础上增加了一项

。

的意义是对权重系数

的概率分布的先验假设，在收集到训练样本

后，则可根据

在

下的后验概率对

进行修正，从而做出对

更好地估计。

L1正则化：

若假设

服从均值为0、参数为

的拉普拉斯分布，即：

则有：

可以看到，在拉普拉斯分布下

的效果等价于在代价函数中增加

正则项。

L2正则化：

若假设

的先验分布为0均值的高斯分布，即

，则有：

可以看到，在高斯分布下

的效果等价于在代价函数中增加

正则项。

故此，我们得到对于

、

正则化的第二种理解：

• 正则化可通过假设权重
  的先验分布为拉普拉斯分布，由最大后验概率估计导出；
• 正则化可通过假设权重
  的先验分布为高斯分布，由最大后验概率估计导出。

---

三、L1和L2正则化如何避免过拟合

• L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
• L2正则化可以通过减小参数来防止模型过拟合；一定程度上，L1也可以防止过拟合

3.1、稀疏模型与特征选择的关系

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0。

通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

3.2、L1正则化如何避免过拟合

为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的）？

图中等值线是

​的等值线，黑色方形是

正则化函数的图形，

，这个函数画出来就是一个方框。在图中，当

等值线与

图形首次相交的地方就是最优解，即上图中相交的顶点。注意到这个顶点的值是

。可以直观想象，因为

函数有很多突出的角（二维情况下四个，多维情况下更多），

​与这些角接触的机率会远大于与

函数其它部位接触的机率（这是很直觉的想象，突出的角比直线的边离等值线更近些），而在这些角上，会有很多权值等于0（因为角就在坐标轴上），这就是为什么

正则化可以产生稀疏模型，进而可以用于特征选择。

3.2、L1正则化如何避免过拟合

同样可以画出他们在二维平面上的图形，如下：

二维平面下

正则化函数是个圆（绝对值的平方和），与方形相比，被磨去了棱角。因此

与

相交时使得

或

等于零的机率小了许多（这个也是一个很直观的想象），这就是为什么

正则化不具有稀疏性的原因，因为不太可能出现多数

都为0的情况。

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

那为什么L2正则化可以获得值很小的参数？

以线性回归中的梯度下降法为例，

其中λ就是正则化参数。从上式可以看到，与未添加L2正则化的迭代公式相比，每一次迭代，

​都要先乘以一个小于1的因子

，从而使得

​不断减小。

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

注意：为什么梯度下降的等值线与正则化函数第一次交点是最优解？

这是带约束的最优化问题，可理解为在满足约束条件下，求最优化问题，所以最优解既能满足约束条件，又能使得整体最优。

【参考】

[1]

MrLi：深入理解L1、L2正则化​zhuanlan.zhihu.com

[2]

机器学习中正则化项L1和L2的直观理解_小平子的专栏-CSDN博客_l1正则化​blog.csdn.net

[3]

bingo酱：L1正则化与L2正则化​zhuanlan.zhihu.com