1. Lasso是什么？
Lasso是一种线性回归的正则化方法，全称为最小绝对值收缩和选择算子（Least Absolute Shrinkage and Selection Operator）。通过在目标函数中加入L1正则化项，Lasso实现了以下两个主要目标：
- 收缩（Shrinkage）：将一些回归系数的绝对值缩小，防止模型过拟合。
- 特征选择（Selection）：将不重要的特征的回归系数压缩到0，从而自动选择重要特征。
Lasso由统计学家Robert Tibshirani于1996年提出，发表在《Journal of the Royal Statistical Society》上，是一种兼顾模型简化和预测精度的强大工具。
Lasso与普通线性回归的区别
普通线性回归的目标是优化最小二乘损失函数：
min β ∑ i = 1 n ( y i − y ^ i ) 2 = min β ∑ i = 1 n ( y i − β 0 − ∑ j = 1 p β j x i j ) 2 \min_{\beta} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \min_{\beta} \sum_{i=1}^n \left( y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right)^2 minβ∑i=1n(yi−y^i)2=minβ∑i=1n(yi−β0−∑j=1pβjxij)2
其中：
- y i y_i yi：第 i i i 个样本的真实值；
- y ^ i \hat{y}_i y^i：第 i i i 个样本的预测值；
- β 0 \beta_0 β0：截距；
- β j \beta_j βj：第 j j j 个特征的回归系数；
- x i j x_{ij} xij：第 i i i 个样本的第 j j j 个特征值；
- n n n：样本数量；
- p p p：特征数量。
普通线性回归的问题在于：
- 当特征数量 p p p 很大时，模型容易过拟合。
- 无法自动选择重要特征，所有特征的系数均非零。
- 在特征之间存在多重共线性时，系数估计不稳定。
Lasso通过在损失函数中加入L1正则化项解决了这些问题。其目标函数为ÿ
最低0.47元/天 解锁文章
扫一扫
599
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
