最小角回归(least angle regression) 的一点记录

least angle regression (LARS)

给定线性无关按行排列的数据$X=(x_1,...,x_n)^T$，数据label$y$。不妨假设$X$中心化且列归一化，$y$去中心化,即

$$\sum_{i = 1}^n y_i = 0,\quad \sum_{i=1}^n x_{ij}=0, \quad \sum_{i=1}^n x_{ij}^2 = 1$$
目标是找到一个$\hat{ \beta }$为下问题的解：

$$\hat{\beta} = argmin_{\beta} \|y - \hat{\mu}\|, \quad s.t. \|\beta\|_1 \le t$$
其中 $\hat{\mu} = X\beta$, $t$越小，解越稀疏。

LARS的过程如下：
  1.初始化 $\mu = 0,\beta = 0$
  2.计算相关系数: $c=c(\mu)=X^T(y-\mu)$
  3.计算最大相关度和对应的下标集合 $C=\max_j\{|c_j|\},\quad A = \{j| |c_j| = C\}$
  4.计算

$$X_A = (...,x_j,...)_{j\in A}$$
$$G_A = X_A^TX_A,\quad A_A= (\mathbb{1}^T G_A^{-1} 1)^{-1/2}$$
$$u_A=X_A \omega_A ,\quad \omega_A = A_A G_A^{-1} 1$$
  5.更新
$$\mu^+= \mu + \gamma \mu_A$$
    其中
$$a = X^T \mu_A$$
$$\gamma = min^+_{j\in A^C} \left\{ \frac{C - c_j}{A_A - a_j},\frac{C+c_j}{A_A +a_j} \right\}$$
$$A = A\cup \{j\} , j = argmin^+_{j\in A^C} \left\{ \frac{C - c_j}{A_A - a_j},\frac{C+c_j}{A_A +a_j} \right\} \ $$
$$C=C-\gamma A_A$$
  6.更新 $\beta$
$$\beta^+ = \beta + \gamma \delta_A$$
    其中 $\delta_A$是上面 $\omega_A$通过填充0( $j \notin A,\delta_A(j) = 0$)，将其扩展成和数据个数一样维度。
  7.如果 $\beta$满足约束，转到4.

过程解释
  最小角回归的过程，和forward stagewise（见[2]）的区别在于方向和步长的更新选择上。最小角回归选择的方向，使得更新方向总是位于已选择的特征的角平分线上。
具体为什么，等看到再补充

正确性：正确性比较复杂，详见文章[1]
参考：
[1]Hastie T, Efron B. lars: Least Angle Regression, Lasso and Forward Stagewise[J]. 2013.
[2]http://blog.csdn.net/xbinworld/article/details/44284293