一、L1和L2正则化目的
正则化(Regularization)是机器学习中一种常用的技术,其主要目的是控制模型复杂度,减小过拟合。最基本的正则化方法是在原目标(代价)函数中添加惩罚项,对复杂度高的模型进行“惩罚”。其数学表达形式为:
式中
二、L1和L2正则化来源推导
可从带约束条件的优化求解和最大后验概率两种思路来推导
2.1、基于约束条件的最优化
对于模型权重系数
为了限制模型的复杂度,思路是减少系数
或
使用
或
其中
或
可以看出,上式与
-
正则化等价于在原优化目标函数中增加约束条件
-
正则化等价于在原优化目标函数中增加约束条件
2、基于最大后验概率估计
在最大似然估计中,假设权重
通过假设
式中
在最大后验概率估计中,则将权重
同样取对数有:
可以看出后验概率函数在似然函数的基础上增加了一项
L1正则化:
若假设
则有:
可以看到,在拉普拉斯分布下
L2正则化:
若假设
可以看到,在高斯分布下
故此,我们得到对于
-
正则化可通过假设权重
的先验分布为拉普拉斯分布,由最大后验概率估计导出;
-
正则化可通过假设权重
的先验分布为高斯分布,由最大后验概率估计导出。
三、L1和L2正则化如何避免过拟合
- L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
- L2正则化可以通过减小参数来防止模型过拟合;一定程度上,L1也可以防止过拟合
3.1、稀疏模型与特征选择的关系
上面提到L1正则化有助于生成一个稀疏权值矩阵,进而可以用于特征选择。为什么要生成一个稀疏矩阵?稀疏矩阵指的是很多元素为0,只有少数元素是非零值的矩阵,即得到的线性回归模型的大部分系数都是0。
通常机器学习中特征数量很多,例如文本处理时,如果将一个词组(term)作为一个特征,那么特征数量会达到上万个(bigram)。在预测或分类时,那么多特征显然难以选择,但是如果代入这些特征得到的模型是一个稀疏模型,表示只有少数特征对这个模型有贡献,绝大部分特征是没有贡献的,或者贡献微小(因为它们前面的系数是0或者是很小的值,即使去掉对模型也没有什么影响),此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。
3.2、L1正则化如何避免过拟合
为什么L1正则化可以产生稀疏模型(L1是怎么让系数等于零的)?
![6a6bea6691249f3387b96775f62fbeb7.png](https://i-blog.csdnimg.cn/blog_migrate/97630116821b00ebf65f19de200cab5c.png)
图中等值线是
3.2、L1正则化如何避免过拟合
同样可以画出他们在二维平面上的图形,如下:
![cd19f0a2b8ce39b090ec21b98daa46db.png](https://i-blog.csdnimg.cn/blog_migrate/493520a6cc1c68c2c8b56b363b84e7d2.png)
二维平面下
拟合过程中通常都倾向于让权值尽可能小,最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单,能适应不同的数据集,也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程,若参数很大,那么只要数据偏移一点点,就会对结果造成很大的影响;但如果参数足够小,数据偏移得多一点也不会对结果造成什么影响,专业一点的说法是『抗扰动能力强』。
那为什么L2正则化可以获得值很小的参数?
以线性回归中的梯度下降法为例,
![90ec49d778d236254bb4004207775aff.png](https://i-blog.csdnimg.cn/blog_migrate/0441ba72b411a8f54e8f74af5b7dfa17.jpeg)
![a8fe5fed5dcb1cd3d919908b1e607355.png](https://i-blog.csdnimg.cn/blog_migrate/9a200f3ef0d9b2a7037803dd17dac016.jpeg)
其中λ就是正则化参数。从上式可以看到,与未添加L2正则化的迭代公式相比,每一次迭代,
最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释,当L1的正则化系数很小时,得到的最优解会很小,可以达到和L2正则化类似的效果。
注意:为什么梯度下降的等值线与正则化函数第一次交点是最优解?
这是带约束的最优化问题,可理解为在满足约束条件下,求最优化问题,所以最优解既能满足约束条件,又能使得整体最优。
【参考】
[1]
MrLi:深入理解L1、L2正则化zhuanlan.zhihu.com[2]
机器学习中正则化项L1和L2的直观理解_小平子的专栏-CSDN博客_l1正则化blog.csdn.net![359e1d56b383e41cfb0e266c2a949104.png](https://i-blog.csdnimg.cn/blog_migrate/1caf37f90141bc3d51f87aa7680464f2.jpeg)
[3]
bingo酱:L1正则化与L2正则化zhuanlan.zhihu.com![0fa2530ccb774931158332eabf14e7da.png](https://i-blog.csdnimg.cn/blog_migrate/63d70ff55a9694c0583d91387217db9b.jpeg)