匹配追踪算法（MP）简介

图像的稀疏表征

分割原始图像为若干个

$$\sqrt{n} \times \sqrt{n}$$ 的块. 这些图像块就是样本集合中的单个样本 $y = \mathbb{R}^n$. 在固定的字典上稀疏分解 $y$后，得到一个稀疏向量. 将所有的样本进行表征一户，可得原始图像的稀疏矩阵. 重建样本 $y = \mathbb{R}^n$时，通过原子集合即字典 $\mathrm{D} = \{d_i\}^k_{i=1} \in \mathbb{R}^{n \times m} (n < m)$中少量元素进行线性组合即可：

$$y = \mathrm{D} x$$

其中，$x = \{x_1, x_2, \cdots, x_m\} \in \mathbb{R}^m$是$y$在$\mathrm{D}$上的分解系数，也称为稀疏系数.

字典矩阵中的各个列向量被称为原子（Atom）. 当字典矩阵中的行数小于甚至远小于列数时，即$m \leqslant n​$，字典$\mathrm{D}​$是冗余的。所谓完备字典是指原子可以张成$n​$纬欧式空间$y = \mathbb{R}^n​$. 如果在某一样本在一过完备字典上稀疏分解所得的稀疏矩阵含有大量的零元素，那么该样本就可以被稀疏表征，即具有稀疏性。一般用$l_0​$范数作为稀疏度量函数，图像的稀疏表征数学模型如下：

$$\min\limits_x ||x||_0, \qquad \mathrm{s.t.} \; y= \mathrm{D} x$$

稀疏表征不仅具有过完备性，还应该具有稀疏性。对于一个过完备字典$\mathrm{D}$，为了可以分解出更合适且稀疏的稀疏表征，应当含有更多的原子。

在稀疏表征理论方面的研究主要可分为两个方面:字典的构建和稀疏编码.

稀疏编码的目标就是在满足一定的稀疏条件下，通过优化目标函数，获取信号的稀疏系数. 经典的算法有匹配追踪(Matching Pursuit，MP)、正交匹配追踪(Orthogonal Matching Pursuit，OMP)、基追踪(Basis Pursuit，BP)算法等.

MP算法是稀疏表征中用于稀疏求解的最基本方法之一. 我在学习过程中参考网上一些资料，觉得大部分写得比较理论化，看起来稍微吃力一些. 阅读了Koredianto Usman的Introduction to Matching Pursuit(MP)一文，我觉得这篇文章写得很不错，从实例出发，很好接. 这篇博文是我对该文章翻译的基础上而写的.

注：
1. 原文中有一些小错误，我在译文中进行了修改. 有对照原文阅读的同学，若发现有不一致，请不要奇怪.
2. 所有计算结果都保留两位小数.

问题提出

考虑下面一个简单例子：

给定稀疏信号

$$x=\begin{pmatrix}-1.2 \\ 1 \\ 0\end{pmatrix}$$

字典矩阵A为：