岭回归与Lasso回归

最新推荐文章于 2025-09-19 22:40:15 发布

原创

最新推荐文章于 2025-09-19 22:40:15 发布 · 6.1k 阅读

62 ·

CC 4.0 BY-SA版权

文章标签：

#回归 #机器学习 #逻辑回归

本文探讨了岭回归和Lasso回归在解决多元线性回归中多重共线性问题的方法，包括岭回归的理论推导、岭迹分析和VIF法选择λ，以及Lasso回归的压缩特性。通过实际案例演示了如何在Matlab和Stata中实施这两种方法，以及它们在数据集中的应用效果。

岭回归与Lasso回归

为什么引入岭回归

传统的多元线性回归可能存在多重共线性，岭回归可以看作是传统多元线性回归的升级版，可以打破多重共线性的限制。

和多元线性回归相似，岭回归的参数估计也是采用OLS（极大似然估计）原理

多元线性回归的参数估计：
$β^=argmin⁡β^∑i=1n(yi−xi′β^)2 \hat{\beta}=\mathrm{arg}\min_{\hat{\beta}}\sum_{i=1}^n(y_i-x_i^{\prime}\hat{\beta})^2$
其中，
$β^=(β1^,β2^,⋯ ,βk^)′ \hat{\beta}=(\hat{\beta_1},\hat{\beta_2},\cdots,\hat{\beta_k})^{\prime}$
岭回归的参数估计：
$β^=argmin⁡β^∑i=1n(yi−xi′β^)2+λ∑i=1nβi2^=argmin⁡β^∑i=1n(Y−X′β^)′(Y−X′β^)+λ∑i=1nβ′^β^ \hat{\beta}=\mathrm{arg}\min_{\hat{\beta}}\sum_{i=1}^n(y_i-x_i^{\prime}\hat{\beta})^2+\lambda\sum_{i=1}^n\hat{\beta_i^2}\\\qquad\qquad\qquad=\mathrm{arg}\min_{\hat{\beta}}\sum_{i=1}^n(Y-X^{\prime}\hat{\beta})^{\prime}(Y-X^{\prime}\hat{\beta})+\lambda\sum_{i=1}^n\hat{\beta^{\prime}}\hat{\beta}$