画图解释LAR算法的几何意义

1）画图及文字解释p74页下半页关于LAR算法所定义的一系列向量的几何意义，及整个算法的几何意义


回归模型： （共有p个变量）
给出具有n个样本的样本矩阵：

（j=1,...,p）
LAR算法：

1.标准化、中心化数据（使各向量为单位向量，且 ）
残差： 初始系数：


2.（1）当前残差


找出Xj，使得 ，Xj对应系数


（2）将从0到 增大，直到出现Xk，使得 ，其中 为当前残差


（3）改变Xj,Xk的系数，使向量 沿着Xj,Xk的角平分线移动，直到出现Xl，使得
为当前残差(图中平移向量使得Xj,Xk,r2在同一起始点，Xj的系数从第一步赋予的值开始增大)

2.重复以上步骤，每一次改变系数使得向量在所有已选择向量的角平分线上移动，得到新的向量，新的向量与当前残差的相关系数与已选择向量和当前残差的相关系数相等，直到所有向量都被选中，所得到的系数即可确定回归方程。


2）画图及文字解释p76页关于理解LAR和Lasso的轨迹图为何如此相像

QQ图片20160323195642.jpg (375.77 KB)

下载附件  保存到相册

2016-3-23 19:58 上传

Lasso搜索路径受条件影响，L.Arc Length从0增长时，正方形不断变大，但在一定范围内， 始终为0， 不断增大，直到加入。而LAR算法在执行第二步算法时，增大， 始终为0，直到找到Xk，加入后才有变化，因此两者轨迹相似。

3）解释增强LAR算法为什么可以进行变量淘汰
第三题不太懂。不知道是不是因为变量间存在多重共线性，选择其中一个即可。共线的向量只选择一个。


参考资料：
炼数成金 画图解释p74页关于LAR算法所定义的一系列向量的几何意义 ,理解LAR和Lasso的轨迹
http://f.dataguru.cn/forum.php?m ... 1&highlight=LAR