Lasso详解：历史、 数学表征、物理意义、 Python实现

• Lasso的历史

（1）相关研究人员及资料

​ 研究Lasso的知名人员：yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter Bühlmann, Martin J. Wainwright, jianqing fan, Liza Levina, Peter Bickel,Tibshirani（Lasso的提出者）

几个跟Lassso相关的网站：

1. The Lasso Page

（2）Lasso前世今生

​ Lasso(Least absolute shrinkage and selection operator, Tibshirani(1996))：最小绝对值收敛和选择算子；又因为“Lasso”这个词本身翻译为套索，所以又称为套索算法。

​ 最初由斯坦福大学统计学教授Robert Tibshirani（见图）于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出，发表于统计期刊Journal of the Royal Statistical Society (Series B)。期刊文章为《Regression Shrinkage and Selection via the Lasso》,其中并未对理论进行证明，后来《On Model Selection Consistency of Lasso》这篇文章给出了数学证明。

（3）Lasso提出前提：稀疏性假设

简单解释稀疏性假设：尽管世界如此复杂，但有用的信息却非常有限。

​ 对于一个研究对象Y，其影响因子X数量种类成千上万，但其实只有为数不多的几个对结果Y起到了关键作用，大部分的影响作用是0。详细理解见文章：通俗理解稀疏性sparsity假设：历史、数学表示、物理意义

（4）Lasso作为一种回归模型的地位

线性回归和逻辑回归是人们学习预测模型的第一个算法，由于这二者的知名度很大，许多分析人员以为它们就是回归的唯一形式了。而了解更多的学者会知道它们是所有回归模型的主要两种形式。不同回归形式应对不同的适用场景。

常见的七种回归形式：

• 线性回归（Linear Regression）

• 逻辑回归（Logistic Regression）

• 多项式回归（Polynomial Regression）

• 逐步回归（Stepwise Regression）

• 岭回归（Ridge Regression）

• 套索回归（Lasso Regression）

• 弹性回归（ElasticNet Regression）

• Lasso物理意义

  在高维变量和稀疏性假设的背景下，诞生出Lasso用以解决相关问题。

​ 是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性。Lasso算法最初用于计算最小二乘法模型。

​ 是一种压缩估计。它通过构造一个罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。 但是这份