正交匹配追踪法(OMP)

正交匹配追踪法(OMP)

模型

OrthogonalMatchingPursuit (正交匹配追踪法)使用了 OMP 算法近似拟合了一个带$l_0$范数限制的线性模型。

当提供参数n_nonzero_coefs时，优化目标为：

$$\min_{w} ||y-Xw||_2^2 \quad s.t.\quad ||w||_0\leq n_{nonzero\_coefs}$$
当提供参数 tol时，优化目标为：
$$\min_{w} ||w||_0 \quad s.t.\quad ||y-Xw||_2^2\leq \text{tol}$$

算法

匹配追踪(MP)

假设初始的残差设置为 $R_0=y$，$X=[x_1,\dots,x_p],||x_i||_2=1,\forall i$

MP 首先选择满足下式的属性 $x_{l_0}$：

$$|\langle R_0,x_{l_0}\rangle|=\sup|\langle R_0,x_i\rangle|$$
此时 $y$ 可以分解为：

y==⟨y,xl0⟩xl0+