最小角回归详解

本文介绍LAR（Least angle regression，最小角回归），由Efron等（2004）提出。这是一种非常有效的求解LASSO的算法，可以得到LASSO的解的路径。

1 算法介绍

我们直接看最基本的LAR算法，假设有$N$个样本，自变量是$p$维的：

1. 先对$X$（$N\times p$）做标准化处理，使得每个predictor（$X$的每列）满足$x_{\cdot j}^{\prime }{1}_N=0$，$\Vert x_{\cdot j}\Vert =1$。我们先假设回归模型中只有截距项，则${\beta }_0=\frac{1}{N}{y}^{\prime }{1}_N$，记残差$r=y-1_N{\beta }_0$，而其他的系数${\beta }_1=\cdots ={\beta }_p=0$；
2. 找出与$r$相关性最大的$x_{\cdot j}$，加入active set；
3. 将${\beta }_j$从$0$逐步向LS系数$x_{\cdot j}^{\prime }r$变动，直到有另一个$x_{\cdot k}$，它与$r$的相关系数绝对值，和$x_{\cdot j}$与$r$的相关系数绝对值一样大；
4. 将${\beta }_j$和${\beta }_k$同时向二者的联合LS系数变动，直到再出现下一个$x_{\cdot l}$，它与$r$的相关系数满足上一步的条件；
5. 重复上述过程，$\min (N-1,p)$步后，就得到完整的LS解。

2 算法性质

2.1 保持最小角

我们先来看LS估计量的一个性质：若每个predictor与$y$的相关系的数绝对值相等，从此时开始，将所有系数的估计值同步地从$0$移向LS估计量，在这个过程中，每个predictor与残差向量的相关系数会同比例地减少。

假设我们标准化了每个predictor和$y$，使他们均值为$0$，标准差为$1$。在这里的设定中，对于任意$j=1,\dots ,p$，都有$\left|x_{\cdot j}^{\prime }y\right|/N=\lambda$，其中$\lambda$为常数。LS估计量$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y$，当我们将系数从$0$向$\hat{\beta }$移动了$\alpha$（$\alpha \in [0,1]$）比例时，记拟合值为$u(\alpha )=\alpha X\hat{\beta }$。

另外，记${\ell }_p^{(j)}$为只有第$j$个元素为$1$、其他元素均为$0$的$p$维向量，则$x_{\cdot j}=X{\ell }_p^{(j)}$，再记$\text{RSS}=\Vert y-X\hat{\beta }{\Vert }^2$，记投影矩阵$P=X(X^{\prime }X{)}^{-1}{X}^{\prime }$。

这里的问题是，在$\alpha$变大过程中，每一个$x_{\cdot j}$与新的残差的相关系数绝对值，是否始终保持相等？且是否会减小？

由于$\left|x_{\cdot j}^{\prime }[y-u(\alpha )]\right|=\left|x_{\cdot j}^{\prime }y-{\ell }_p^{(j)\prime }{X}^{\prime }u(\alpha )\right|$