1.1.9. Orthogonal Matching Pursuit (OMP)（正交匹配追踪）

1.1.9. Orthogonal Matching Pursuit (OMP)

一、简介

这是sklearn对OMP的所有描述，对我来说，显得有些晦涩难懂。事实上，想要很好的理解这部分内容，我们需要一定的基础和相应的数学功底。

OMP本质上，涉及到了字典学习和稀疏表示这一领域。我也是在复习了西瓜书上相关部分的内容和结合了之前关于线性模型求解的数学推导与优化后，才堪堪理解。

这里我先给出一篇我学习这部分内容时，看得一篇文章，这位大佬做了很多、很详细的数学上的讲解，虽然我看不太懂，但我大受震撼。

二、结合多种算法理解OMP

在这里，我们暂时先抛弃各种算法之间的优劣和针对不同数据的泛化性能的区别，仅讨论模型的数学属性和之间的相似性。

2.1梯度下降体系和最小角回归体系（铺垫1）

求解线性回归的模型当中，最核心的思想是逼近。有两种广为人知的

1. 梯度下降
2. 坐标下降（前向梯度）

在我的理解中，坐标下降和前向梯度十分相似，但我还没弄清楚它们之间具体的关系

事实上，他们的思想都是不断的选择不同特征的线性组合，最后向目标逼近。即，将目标表示为不同特征的线性组合加上残差的形式。
y = y ^ + ε = ω 0 x 0 + ω 1 x 1 + ω 2 x 2 + . . . + ω n x n y = \hat{y}+\varepsilon = \omega_0x_0+\omega_1x_1+\omega_2x_2+...+\omega_nx_n