正则化_大数据-L1正则化和L2正则化的联系和区别

损失函数的惩罚项

机器学习中,一般损失函数后边会添加一个额外项,一般称作L1正则化L2正则化或者L1范数L2范数。L1、L2正则化可以看做是损失函数的惩罚项。对于线性回归模型,使用L1正则化得模型称作Lasso回归,使用L2正则化的模型称作Ridge回归(岭回归)。

L1正则化是指权值向量中各个元素的绝对值之和,例如|w1| + |w2|。

L2正则化是指权值向量中各个元素的平方和然后再求平方根。

L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,用于特征选择。

假设有如下带有L1正则化的目标函数等高线图:

4d3ad6022253d78edf2caf513c2dac27.png

L1正则化的目标函数求解

图中等值线是J0函数等值线,黑色菱形是L函数的图形。我们现在的目标就是不仅要原函数更接近紫色的小圈,同时要使得菱形值越小越好。并且加入L1范数的解,一定是某条等高线和菱形的切点。这个切点位于顶点时就是最优解。这个顶点的坐标为(0,w)。(二维情况有四个顶点,多维情况下有更多)

L2正则化可以产生参数值较小的模型,能适应不同的数据集,一定程度上防止过拟合,抗扰动能力强。

c4a9373efed8ae49718d5a3188a5dc8c.png

L2正则化的目标函数求解

L2正则的分析与L1类似,只不过L函数由菱形变成了圆形,仍旧求原曲线和圆形的切点作为最优解。此时切点不容易在坐标轴上,而是位于靠近坐标轴的部分,因此我们可以说L2范数能让解比较小(靠近0),但是比较平滑(不等于0)。

最后,我们所说的希望模型结构风险(SRM)最小化,是要求拟合误差足够小(经验风险ERM最小化),同时模型不要太复杂(正则化项极小化),这样得到的模型具有较强的泛化能力,即对未知的数据有更好的预测能力。

L1正则化和L2正则化L1正则化

就是在loss function后边所加正则项为L1范数,加上L1范数容易得到稀疏解(0比较多)。L2正则化就是loss function后边所加正则项为L2范数的平方,加上L2正则相比于L1正则来说,得到的解比较平滑(不是稀疏),但是同样能够保证解中接近于0(但不是等于0,所以相对平滑)的维度比较多,降低模型的复杂度。

已标记关键词 清除标记
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页