数学建模 —— 岭回归和Lasso回归

最新推荐文章于 2024-07-21 21:20:57 发布

Hope Cordial

最新推荐文章于 2024-07-21 21:20:57 发布

阅读量1.8k

点赞数

文章标签：回归

本文链接：https://blog.csdn.net/qq_52928524/article/details/126520461

版权

文章目录

前言
一、岭回归
- 1.原理
二、Lasso回归
- 1.使用情形
总结

前言

岭回归和Lasso回归相比较来说，Lasso回归要更好一点，但是Lasso回归求的是近似解，可以使用Lasso回归筛选出几个相关的变量，然后进行正常的多元回归。岭回归求出的是一个确切的解。
之前介绍了多元线性回归模型，估计回归系数使用的是OLS，并在最后探讨了异方差和多重共线性对于模型的影响。事实上，回归中关于自变量的选择大有门道，变量过多时可能会导致多重共线性问题造成回归系数的不显著，甚至造成OLS估计的失效。本节介绍到的岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数构成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版；另一方面，加入的惩罚项能够让模型变得可估计，即使之前的数据不满足列满秩，在稍后的原理推导中我们将更加详细的说明这一点。