l1正则化表达式_L1 正则化与嵌入式特征选择 (稀疏性)

L1 正则化与嵌入式特征选择 (稀疏性)

岭回归的历史可追溯到 1943 年由 A.Tikhonov 发表在苏联科学院院刊上的一篇文章, 我们知道计算机是在 1946 年发明出来的, 由此可见, 这是一个历史悠久的算法, 至今依旧有生命力, 属于经典算法之一

岭回归, 是线性回归的 L2 正则化方式本质上是一种回归

给定数据集 D = {(x1,y1),(x2,y2),...,(xm,ym)}, 其中 xϵR^d dimension,yϵR 我们考虑最简单的线性回归模型, 以平方误差为损失函数:

对于正则化不太了解的朋友可以看我这一篇文章 L1 与 L2 正则化, 但是我们这里对于正则化有一些更加深入的理解

正则化 (Regularization) 是在被优化的目标函数中, 添加一项与常数因子λ相乘 (有时候也使用α) 的参数, 这一项就叫做正则项我们很容易知道, 由于目标函数总是向最小化方向发展, 则被加进来的这一项会受到惩罚使之更倾向于小具体的理解可以参考我的 L1 与 L2 正则化以下是线性回归带正则化的目标函数表达式

带 L1 正则化的线性回归的目标函数:

带 L2 正则化的线性回归的目标函数, 也就是我们提到的岭回归: