机器学习——回归算法之最小角回归（Least angle regression， LARS）

前言

最小角回归涉及到了相关系数（current correlations）,但这里并不会具体定义相关系数的定义，只需要在知道它是用来衡量两个变量相关程度的就可以了。

算法思想

这里用一张图来说明算法的基本思想：
$从简单的情况说明，假设有两个样本x_1和x_2，真实标签为\widehat{y_2}(图中绿色的，请自行屏蔽绿色的\widehat{y_1}因为它对于说明算法思想每啥用)$
$算法从\widehat{{\mu }_0}=0开始，从图中也可以看出，\widehat{y_2}-\widehat{{\mu }_0}显然比x_2更靠近x_1，这个“靠近程度”使用相关系数来衡量的，即：$
$$c_1(\widehat{{\mu }_0})=x_1(\widehat{y_2}-\widehat{{\mu }_0})\text{\hspace{1em}(1)}$$
$$c_2(\widehat{{\mu }_0})=x_2(\widehat{y_2}-\widehat{{\mu }_0})\text{\hspace{1em}(2)}$$
$$c_1(\widehat{{\mu }_0})>c_2(\widehat{{\mu }_0})\text{\hspace{1em}(3)}$$
于是算法会沿着$x_1$走一步，走多大呢？这里有个公式（${\gamma }_1可以看成是步长$）：
$$\widehat{{\mu }_1}=\widehat{{\mu }_0}+\widehat{{\gamma }_1}{x}_1\text{\hspace{1em}(4)}$$
然后再计算:
$$c_1({\mu }_1)=x_1(\widehat{y_2}-\widehat{{\mu }_1})\text{\hspace{1em}(5)}$$
$$c_2({\mu }_1)=x_2(\widehat{y_2}-\widehat{{\mu }_1})\text{\hspace{1em}(6)}$$
发现此时：
$$c_1({\mu }_1)=c_2({\mu }_1)\text{\hspace{1em}(7)}$$

怎么解释上面的等式？看图，将$x_2向右平移到\widehat{{\mu }_1}处，\widehat{y_2}-\widehat{{\mu }_1}可以看成平分x_1和x_2之间的夹角。$
$\widehat{y_2}-\widehat{{\mu }_1}是坐落在单位向量{\mu }_2的方向上的$，那么下一步的更新方向是：$$\widehat{{\mu }_2}=\widehat{{\mu }_1}+\widehat{{\gamma }_2}{\mu }_2$$
在两个样本的情况下，$\widehat{{\gamma }_2}$是需要选择合适的大小（有两种选择算法可供选择$\widehat{{\gamma }_{}}$）使得$\widehat{{\mu }_2}=\widehat{y_2}$，得到最终的线性回归结果。
这里仅使用二维（两个样本）举例说明，高维情况也是如此。$\hat{\gamma }$就是算法需要学习的参数，具体公式见此。LARS 和逐步回归很像。在每一步，它寻找与响应最有关联的 预测。当有很多预测有相同的关联时，它没有继续利用相同的预测，而是在这些预测中找出应该等角的方向。
优点：

• 特别适合于特征维度n 远高于样本数m的情况。
• 算法的最坏计算复杂度和最小二乘法类似，但是其计算速度几乎和前向选择算法一样
• 可以产生分段线性结果的完整路径，这在模型的交叉验证中极为有用

缺点：

• 由于LARS的迭代方向是根据目标的残差而定，所以该算法对样本的噪声极为敏感。

示例代码

import numpy as np
import matplotlib.pyplot as plt
 
from sklearn import linear_model
from sklearn import datasets
 
diabetes = datasets.load_diabetes()
X = diabetes.data
y = diabetes.target
 
print("Computing regularization path using the LARS ...")
alphas, _, coefs = linear_model.lars_path(X, y, method='lasso', verbose=True)
 
xx = np.sum(np.abs(coefs.T), axis=1)
xx /= xx[-1]
 
plt.plot(xx, coefs.T)
ymin, ymax = plt.ylim()
plt.vlines(xx, ymin, ymax, linestyle='dashed')
plt.xlabel('|coef| / max|coef|')
plt.ylabel('Coefficients')
plt.title('LASSO Path')
plt.axis('tight')
plt.show()
##################################
#reg = linear_model.LassoLars(alpha)这块的alpha可使用前面返回的alphas