lasso

最新推荐文章于 2023-09-10 16:08:08 发布

piaoyu94

最新推荐文章于 2023-09-10 16:08:08 发布

阅读量761

点赞数

本文链接：https://blog.csdn.net/piaoyu94/article/details/78691126

版权

Lasso回归在约束条件下最小化残差平方和，导致部分回归系数为0，实现模型解释性。适用于各种类型因变量，能筛选变量、降低模型复杂度，防止过度拟合。λ控制模型复杂度，α调节处理高度相关数据的模型性质。通过不同λ值比较和交叉验证选择最佳模型。

摘要由CSDN通过智能技术生成

Lasso(Least absolute shrinkage and selection operator, Tibshirani(1996)) 方法是一种压缩估计。它通过构造一个罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。

　　Lasso 的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0 的回归系数，得到可以解释的模型。

lasso回归：

lasso回归的特色就是在建立广义线型模型的时候，这里广义线型模型包含一维连续因变量、多维连续因变量、非负次数因变量、二元离散因变量、多元离散因变，除此之外，无论因变量是连续的还是离散的，lasso都能处理，总的来说，lasso对于数据的要求是极其低的，所以应用程度较广；除此之外，lasso还能够对变量进行筛选和对模型的复杂程度进行降低。这里的变量筛选是指不把所有的变量都放入模型中进行拟合，而是有选择的把变量放入模型从而得到更好的性能参数。复杂度调整是指通过一系列参数控制模型的复杂度，从而避免过度拟合(Overfitting)。对于线性模型来说，复杂度与模型的变量数有直接关系，变量数越多，模型复杂度就越高。更多的变量在拟合时往往可以给出一个看似更好的模型，但是同时也面临过度拟合的危险。