Lasso introduction

       在统计和机器学习中，LASSO是一种既进行变量选择又进行正则化的回归分析方法，以提高所产生统计模型的预测精度和可解释性。Lasso最初是为最小二乘模型设计的，这个简单的例子揭示了估计器的大量行为，包括它与岭回归（ridge regression）和最佳子集选择的关系，以及Lasso系数估计和所谓的软阈值之间的关系。Lasso执行子集选择的能力依赖于约束的形式，并有多种解释，包括几何、贝叶斯统计和凸分析。

        Lasso和基追踪去噪相关度较高（BPDN）。Lasso能够通过强制回归系数绝对值之和小于一个固定值来实现这两个目标（一、提高预测准确度；二、防止模型过拟合），比如会将一些系数设置为零。假设是输出，定义为输入向量,希望通过Lasso解决以下问题：

                                              

在这里t是预先指定的自由参数，让它决定正则化的数量。X作为系数矩阵，，表示X的第i行。

所以表达可以更紧凑地表示为：