LAR（最小角回归）算法原理和示意图

LAR算法原理描述

LAR（Least Angle Regression）算法：

对于一个参数线性化（linear-in-the-parameters）模型，其回归目标向量为若干组回归变量乘以系数的线性组合，通过逐步选择特征向量，每次选择一个特征向量来作为模型的回归变量，最终使得与所有回归变量的相关性均相同且最大的残差向量最小。

此算法的关键在于回归变量的选择顺序和其系数的计算规则。

具体步骤：
（解析角度）
1）选择与初始残差（即为系统响应）相关度最大的特征向量作为回归向量，并为其选择合适的回归系数，计算当前辨识模型残差，使残差与此回归向量以及另一个与残差相关度最大的特征向量的相关度相等；
2）选择上一步中与残差相关度最大的特征向量作为第二个回归系数，并为其选择合适的回归系数，计算当前辨识模型残差，使此残差与所有回归变量以及另一个与残差相关度最大的特征向量的相关度都相等。
3）重复步骤2）继续选择下一个回归变量及其参数，直到无多余特征向量或选择的模型符合所需的残差要求。

反映到几何图像上：（几何角度）
1）选择与初始残差向量（即系统的响应向量）夹角最小的特征向量作为回归变量，然后在此向量的方向上选择合适的步长作为其回归系数，使得此时残差与回归变量以及另一个与残差夹角最小的特征向量的夹角相等，也就是说使残差位于回归变量和此与残差夹角最小的特征向量的角平分线上；
2）选择上一步中与残差夹角最小的特征向量作为第二个回归系数，并沿着上一步中的残差方向选择合适步长作为其回归参数，使得此时残差与所有回归变量以及另一个与残差夹角最小的特征向量的夹角相等，也就是说使残差位于这些回归变量和此与残差夹角最小的特征向量的角平分线上；
3）重复步骤2），继续选择下一个回归变量及其参数，直到无多余特征向量或选择的模型符合所需的残差要求。

LAR算法原理示例图

示例图如下：

以模型有三个特征向量为例：
图中三个特征向量${\Phi }_1$ ， ${\Phi }_2$， ${\Phi }_3$（特征向量可能是由以系统输入输出和固定的非线性参数为自变量的非线性函数构成的复杂向量）和一个系统输出向量 $y$均由实线画出。在第一步中，由于相较${\Phi }_2$、${\Phi }_3$， Φ 1 \Phi_1