(1)相关研究人员及资料
研究Lasso的知名人员:yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter Bühlmann, Martin J. Wainwright, jianqing fan, Liza Levina, Peter Bickel,Tibshirani(Lasso的提出者)
几个跟Lassso相关的网站:
(2)Lasso前世今生
Lasso(Least absolute shrinkage and selection operator, Tibshirani(1996)):最小绝对值收敛和选择算子;又因为“Lasso”这个词本身翻译为套索,所以又称为套索算法。
最初由斯坦福大学统计学教授Robert Tibshirani(见图)于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出,发表于统计期刊Journal of the Royal Statistical Society (Series B)。期刊文章为《Regression Shrinkage and Selection via the Lasso》,其中并未对理论进行证明,后来《On Model Selection Consistency of Lasso》这篇文章给出了数学证明。
(3)Lasso提出前提:稀疏性假设
简单解释稀疏性假设:尽管世界如此复杂,但有用的信息却非常有限。
对于一个研究对象Y,其影响因子X数量种类成千上万,但其实只有为数不多的几个对结果Y起到了关键作用,大部分的影响作用是0。详细理解见文章:通俗理解稀疏性sparsity假设:历史、数学表示、物理意义
(4)Lasso作为一种回归模型的地位
线性回归和逻辑回归是人们学习预测模型的第一个算法,由于这二者的知名度很大,许多分析人员以为它们就是回归的唯一形式了。而了解更多的学者会知道它们是所有回归模型的主要两种形式。不同回归形式应对不同的适用场景。
常见的七种回归形式:
线性回归(Linear Regression)
逻辑回归(Logistic Regression)
多项式回归(Polynomial Regression)
逐步回归(Stepwise Regression)
岭回归(Ridge Regression)
套索回归(Lasso Regression)
弹性回归(ElasticNet Regression)
是一种同时进行特征选择和正则化(数学)的回归分析方法,旨在增强统计模型的预测准确性和可解释性。Lasso算法最初用于计算最小二乘法模型。
是一种压缩估计。它通过构造一个罚函数得到一个较为精炼的模型,使得它压缩一些系数,同时设定一些系数为零。因此保留了子集收缩的优点,是一种处理具有复共线性数据的有偏估计。 但是这份