正交匹配追踪

最新推荐文章于 2023-12-28 12:14:10 发布

卡尔曼和玻尔兹曼谁曼

最新推荐文章于 2023-12-28 12:14:10 发布

阅读量1.5w

点赞数 68

分类专栏： # 数字图像处理文章标签：正交匹配追踪 OMP

数字图像处理专栏收录该内容

10 篇文章 3 订阅

订阅专栏

这篇博文是在对Koredianto Usman《Introduction to Orthogonal Matching Pursuit》文章的翻译，后面附带了一些总结.

这篇文章是前面《Matching Pursuit (MP)》文章的继续. （注：原文中还是有一些小细节错误，请大家睁大眼睛阅读）

简介

考虑下面的问题：给定 $x = \begin{bmatrix}-1.2 & 1 & 0\end{bmatrix}$ 和 $\mathrm{A} = \begin{bmatrix}-0.707 & 0.8 & 0 \\ 0.707 & 0.6 & -1\end{bmatrix}$ ，计算 $y = \mathrm{A} \cdot x$ .

这相当简单！

y = A \cdot x = [- 0.707 0.707 0.8 0.6 0 - 1] \cdot [- 1.2 10] = [1.65 - 0.25]

$y = \mathrm{A} \cdot x = \begin{bmatrix}-0.707 & 0.8 & 0 \\ 0.707 & 0.6 & -1\end{bmatrix} \cdot \begin{bmatrix}-1.2 & 1 & 0\end{bmatrix} = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix}$

现在是比较困难的部分！给定 $y = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix}$ 和 $\mathrm{A} = \begin{bmatrix}-0.707 & 0.8 & 0 \\ 0.707 & 0.6 & -1\end{bmatrix}$ ，如何找到原始的 $x$ （或者尽可能接近原始的 $x$ ）？

在压缩感知（Compressive Sensing）术语中，从 $x$ 和 $\mathrm{A}$ 中得到 $y$ 叫做压缩，反之，从 $y$ 和 $\mathrm{A}$ 得到 $x$ 叫重建（个人感觉原文中好像说反了，还是我理解错了？）. 重建问题不是一个很简单的问题。

一般地， $x$ 被称为original signal或者original vector， $\mathrm{A}$ 被称为compression matrix或者sensing matrix， $y$ 称为compressed signal或者compressed vector.

基本概念

和前面在MP算法中讨论过的一样，感知矩阵 $\mathrm{A}$ 可以看做列向量的集合：

A = [- 0.707 0.707 0.8 0.6 0 - 1] = [b 1 b 2 b 3]

$\mathrm{A} = \begin{bmatrix}-0.707 & 0.8 & 0 \\ 0.707 & 0.6 & -1\end{bmatrix} = \begin{bmatrix}b_1 & b_2 & b_3\end{bmatrix}$

其中，

b 1 = [- 0.707 0.707], b 2 = [- 0.8 0.6], b 1 = [0 - 1]

$b_1 = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix}, \qquad b_2 = \begin{bmatrix}-0.8 \\ 0.6\end{bmatrix}, \qquad b_1 = \begin{bmatrix}0 \\ -1\end{bmatrix}$

这些列被称为基（basis）或者原子（atom）.

现在，我们令 $x = \begin{bmatrix}x_1 \\ x_2 \\ x_3\end{bmatrix}$ ，则

A \cdot x = [- 0.707 0.707] \cdot x 1 + [0.8 0.6] \cdot x 2 + [0 - 1] \cdot x 3 = y

$\mathrm{A} \cdot x = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix} \cdot x_1 + \begin{bmatrix}0.8 \\ 0.6\end{bmatrix} \cdot x_2 + \begin{bmatrix}0 -1\end{bmatrix} \cdot x_3 = y$ .

从该方程可以看出 $y$ 是使用 $x$ 中的稀疏对原子的线性组合. 实际上，我们知道 $x_1 = -1.2$ ， $x_2 = 1$ ， $x_3 = 0$ . 换言之，对于得到 $y$ 值， $b_1$ 的贡献值为-1.2， $b_2$ 为1，而 $b_2$ 为0.

OMP算法和MP算法类似，都是从字典中找出哪一个原子对 $y$ 值的贡献最大，接下来是哪个原子的贡献值大，以此类推. 我们现在知道这个过程需要 $N$ 次迭代， $N$ 是字典中原子的个数. 在该例子中， $N$ 等于3.

计算原子的贡献值

字典中有三个原子，

b 1 = [- 0.707 0.707], b 2 = [- 0.8 0.6], b 1 = [0 - 1]

$b_1 = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix}, \qquad b_2 = \begin{bmatrix}-0.8 \\ 0.6\end{bmatrix}, \qquad b_1 = \begin{bmatrix}0 \\ -1\end{bmatrix}$

且

y = [1.65 - 0.25]

$y = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix}$

因此，各原子对 $y$ 的贡献值为

< b 1, y > = [- 0.707 0.707] T \cdot [1.65 - 0.25] = - 0.707 \cdot - 1.65 + 0.707 \cdot - 0.25 = - 1.34

$<b_1, y> = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix}^{\mathrm{T}} \cdot \begin{bmatrix}1.65 \\ -0.25\end{bmatrix} = -0.707 \cdot -1.65 + 0.707 \cdot -0.25 = -1.34$

< b 2, y > = 1.17

$<b_2, y> = 1.17$

<b3,y>=0.25 <script type="math/tex" id="MathJax-Element-41"> = 0.25</script>

显然，原子 $b_1$ 对 $y$ 值的贡献最大为-1.34（按绝对值计算）.

在第一次迭代过程中，我们选择 $b_1$ 作为基，基的系数为-1.34.

当然，我们也可以使用矩阵的形式计算点积：

w = A T \cdot y = ⎡ ⎣ ⎢ - 0.707 0.8 0 0.707 0.6 - 1 ⎤ ⎦ ⎥ \cdot [1.65 - 0.25] = ⎡ ⎣ ⎢ - 1.34 1.17 0.25 ⎤ ⎦ ⎥

$w = \mathrm{A}^{\mathrm{T}} \cdot y = \begin{bmatrix}-0.707 & 0.707 \\ 0.8 & 0.6 \\ 0 & -1\end{bmatrix} \cdot \begin{bmatrix}1.65 \\ -0.25\end{bmatrix} = \begin{bmatrix}-1.34 \\ 1.17 \\ 0.25\end{bmatrix}$

原子和 $y$ 的几何意义如图1：

原子和感知向量示意图

计算残差

现在已经选定了第一个基 $b_1 = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix}$ ，贡献值系数为 $\lambda_1 = -1.34$ . 将该部分贡献值从 $y$ 中减去，残差为

r = y - λ 1 \cdot b 1 = [1.65 - 0.25] - (- 1.34) \cdot [- 0.707 0.707] = [0.7 0.7]

$r = y - \lambda_1 \cdot b_1 = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix} - (-1.34) \cdot \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix} = \begin{bmatrix}0.7 \\ 0.7\end{bmatrix}$

残差的几何意义如图2：

残差的几何意义

重复迭代

经过第一次迭代，我们选择出了基 $b_1$ . 将选择出的基加入新的矩阵 $\mathrm{A}_{new}$ ，即：

A n e w = [b 1] = [- 0.707 0.707]

$\mathrm{A}_{new} = [b_1] = \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix}$

贡献系数矩阵可以写成 $x_{rec} = \begin{bmatrix}-1.34 \\ 0 \\ 0\end{bmatrix}$

第一个元素是第一个贡献值-1.34，对应着第一个第一个基 $b_1$ .

残差值为 $r = \begin{bmatrix}0.7 \\ 0.7\end{bmatrix}$

现在需要从剩下的基 $b_2$ 和 $b_3$ 中选择对残差 $r$ 贡献最大的.

w = [b 2 b 3] T \cdot r = [0.98 - 0.7]

$w = \begin{bmatrix}b_2 \\ b_3\end{bmatrix}^{\mathrm{T}} \cdot r = \begin{bmatrix}0.98 \\ -0.7\end{bmatrix}$

所以， $b_2$ 的贡献值更大一些是0.98.

我们将选择的基 $b_2$ 添加到 $\mathrm{A}_{new}$ 得到

A n e w = [b 1 b 2] = [- 0.707 0.707 0.8 0.6]

$\mathrm{A}_{new} = \begin{bmatrix}b_1 & b_2\end{bmatrix} = \begin{bmatrix}-0.707 & 0.8 \\ 0.707 & 0.6\end{bmatrix}$

接下来的步骤和MP算法稍微有些不同. 这里，我们需要计算 $\mathrm{A}_{new}$ 对 $y$ 的贡献（而不是 $b_2$ 对 $r$ 的贡献）

我们使用最小二乘法（Least Square Problem）解决该该贡献值问题：

如何求得 $\lambda_1$ 和 $\lambda_2$ 的值使得 $\lambda_1 \cdot \begin{bmatrix}-0.707 \\ 0.707\end{bmatrix} + \lambda_2 \cdot \begin{bmatrix}0.8 \\ 0.6\end{bmatrix}$ 最接近 $y = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix}$ ？

表示成数学语言为：

min ∥ A n e w \cdot λ - y ∥ 2

$\min \|\mathrm{A}_{new} \cdot \mathbf{\lambda} - y\|_2$

在这个例子中，即

min ∥ [b 1 b 2] = [- 0.707 0.707 0.8 0.6] \cdot [λ 1 λ 2] - [1.65 - 0.25] ∥ 2

$\min \|\begin{bmatrix}b_1 & b_2\end{bmatrix} = \begin{bmatrix}-0.707 & 0.8 \\ 0.707 & 0.6\end{bmatrix} \cdot \begin{bmatrix}\lambda_1 \\ \lambda_2\end{bmatrix} - \begin{bmatrix}1.65 \\ -0.25\end{bmatrix}\|_2$

对于 $\min \|\mathrm{A}_{new} \cdot \mathbf{\lambda} - y\|_2$ 的解可以直接使用公式：

λ = A + n e w \cdot y

$\mathbf{\lambda} = \mathrm{A}_{new}^+ \cdot y$

其中， $\mathrm{A}_{new}^+$ 是 $\mathrm{A}_{new}$ 的谓逆， $\mathrm{A}_{new}^+ = (\mathrm{A}_{new}^{\mathrm{T}} \cdot \mathrm{A}_{new})^{-1} \cdot \mathrm{A}_{new}^{\mathrm{T}}$

（注：可参看我的博文《Moore-Penrose广义逆矩阵》和《矛盾方程的最小二乘解法》）

在我们的例子中 $\mathrm{A_{new}^+} = \begin{bmatrix}-0.707 & 0.8 \\ 0.707 & 0.6\end{bmatrix}^+ = \begin{bmatrix}-0.6062 & 0.8082 \\ 0.7143 & 0.7143\end{bmatrix}$

可以使用MATLAB中的内置函数pinv()进行伪逆的计算.

得到 $\mathrm{A_{new}^+}$ 后，可以计算 $\mathbf{\lambda}$

$\mathbf{\lambda} = \mathrm{A}_{new}^+ \cdot y = \begin{bmatrix}-0.6062 & 0.8082 \\ 0.7143 & 0.7143\end{bmatrix} \cdot \begin{bmatrix}1.65 \\ -0.25\end{bmatrix} = \begin{bmatrix}-1.2 \\ 1\end{bmatrix}$

得到 $\mathbf{\lambda}$ 以后，更新系数矩阵 $x_{rec}$ 为

$x_{rec} = \begin{bmatrix}-1.2 \\ 1 \\ 0\end{bmatrix}$

同样的， $\mathbf{\lambda}$ 在 $x_{rec}$ 第一个元素和第二个元素对应着选择出来的第一个和第二个基.

得到 $\mathrm{A}_{new}$ 和 $\mathbf{\lambda}$ 以后，我们可以计算残差

$r = y - \mathrm{A}_{new} \cdot \mathbf{\lambda} = \begin{bmatrix}1.65 \\ -0.25\end{bmatrix} - \begin{bmatrix}-0.707 & 0.8 \\ 0.707 & 0.6\end{bmatrix} \cdot \begin{bmatrix}—1.2 \\ 1\end{bmatrix} = \begin{bmatrix}0 \\ 0\end{bmatrix}$

此时，残差值为 $\begin{bmatrix}0 \\ 0\end{bmatrix}$ ，我们可以停止计算或者继续下一步计算（这里停止，可以节省一些计算工作）.

最后一次迭代

这一步不是必须的，因为残差已经完全消除了（很多实现OMP的软件都需要输入稀疏度 $K$ 参数，这样经过 $K$ 次迭代以后，无论残差大小都会停止迭代）.

重新组织信号系数 $x_{rec} = \begin{bmatrix}-1.2 \\ 1 \\ 0\end{bmatrix}$ ，这刚好是原始的系数.

其他例子

给定 $x = \begin{bmatrix}0 \\ 3 \\ 1 \\ 2\end{bmatrix}$ 和 $\mathrm{A} = \begin{bmatrix}-0.8 & 0.3 & 1 & 0.4 \\ -0.2 & 0.4 & -0.3 & -0.4 \\ 0.2 & 1 & -0.1 & 0.8 \end{bmatrix}$ ，

求得 $y = \mathrm{A} \cdot x = \begin{bmatrix}2.7 \\ 0.1 \\ 4.5\end{bmatrix}$

现在给定 $\mathrm{A}$ 和 $y$ ，使用OMP算法求解 $x$ .

我们有4个基（原子）： $b_1 = \begin{bmatrix}-0.8 \\ -0.2 \\ 0.2\end{bmatrix} \qquad b_2 = \begin{bmatrix}0.3 \\ 0.4 \\ 1\end{bmatrix} \qquad b_3 = \begin{bmatrix}1 \\ -0.3 \\ -0.1\end{bmatrix} \qquad b_4 = \begin{bmatrix}0.4 \\ -0.4 \\ 0.8\end{bmatrix} \qquad$
由于基向量的长度不是1，所以我们首先进行标准化.

$b 1^= b 1 / ∥ b 1 ∥ = ⎡ ⎣ ⎢ - 0.8 - 0.2 0.2 ⎤ ⎦ ⎥ / (- 0.8) 2 + (- 0.4) 2 + (0.2) 2 - - - - - - - - - - - - - - - - - - - - - - \sqrt = ⎡ ⎣ ⎢ - 0.9428 - 0.2357 0.2357 ⎤ ⎦ ⎥$ $\hat{b_1} = b_1 / \|b_1\| = \begin{bmatrix}-0.8 \\ -0.2 \\ 0.2\end{bmatrix} / \sqrt{(-0.8)^2 + (-0.4)^2 + (0.2)^2} = \begin{bmatrix}-0.9428 \\ -0.2357 \\ 0.2357\end{bmatrix}$

$b 2^= b 2 / ∥ b 2 ∥ = ⎡ ⎣ ⎢ 0.2680 0.3578 0.8940 ⎤ ⎦ ⎥$ $\hat{b_2} = b_2 / \|b_2\| = \begin{bmatrix}0.2680 \\ 0.3578 \\ 0.8940\end{bmatrix}$

$b 3^= b 3 / ∥ b 3 ∥ = ⎡ ⎣ ⎢ 0.9535 - 0.2860 0.0953 ⎤ ⎦ ⎥$ $\hat{b_3} = b_3 / \|b_3\| = \begin{bmatrix}0.9535 \\ -0.2860 \\ 0.0953\end{bmatrix}$

$b 2^= b 2 / ∥ b 2 ∥ = ⎡ ⎣ ⎢ 0.4082 - 0.4082 - 0.8165 ⎤ ⎦ ⎥$ $\hat{b_2} = b_2 / \|b_2\| = \begin{bmatrix}0.4082 \\ -0.4082 \\ -0.8165\end{bmatrix}$
标准化的基向量对 $y$ 的贡献 $w$

$w = A^T \cdot y = ⎡ ⎣ ⎢ - 0.9428 - 0.2357 0.2357 0.2680 0.3578 0.9840 0.9535 - 0.2860 - 0.0953 0.4082 - 0.4082 - 0.8165 ⎤ ⎦ ⎥ T \cdot ⎡ ⎣ ⎢ 2.7 0.1 4.5 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ - 1.5085 4.7852 2.1167 4.7357 ⎤ ⎦ ⎥ ⎥ ⎥$ $w = \hat{\mathrm{A}}^{\mathrm{T}} \cdot y = \begin{bmatrix}-0.9428 & 0.2680 & 0.9535 & 0.4082 \\ -0.2357 & 0.3578 & -0.2860 & -0.4082\\ 0.2357 & 0.9840 & -0.0953 & -0.8165\end{bmatrix}^{\mathrm{T}} \cdot \begin{bmatrix}2.7 \\ 0.1 \\ 4.5\end{bmatrix} = \begin{bmatrix}-1.5085 \\ 4.7852 \\ 2.1167 \\ 4.7357\end{bmatrix}$
第二个基向量 $b_2$ 贡献值最大，所以将 $b_2$ 加入到 $\mathrm{A}_{new}$

$\mathrm{A}_{new} = b_2 = \begin{bmatrix}0.3 \\ 0.4 \\ 1\end{bmatrix}$
利用最小二乘法计算 $x_{rec}$

$L_p = \mathrm{A}_{new}^+ \cdot y = [4.28]$

因为 $L_p$ 对应着第二个基向量，所以 $x_{rec} = \begin{bmatrix}0 \\ 4.28 \\ 0 \\ 0\end{bmatrix}$
接下来计算残差

$r = y - A n e w \cdot L p = ⎡ ⎣ ⎢ 2.7 0.1 4.5 ⎤ ⎦ ⎥ - ⎡ ⎣ ⎢ 0.3 0.4 1 ⎤ ⎦ ⎥ \cdot 4.28 = ⎡ ⎣ ⎢ 1.416 - 1.612 0.22 ⎤ ⎦ ⎥$ $r = y - \mathrm{A}_{new} \cdot L_p = \begin{bmatrix}2.7 \\ 0.1 \\ 4.5\end{bmatrix} - \begin{bmatrix}0.3 \\ 0.4 \\ 1\end{bmatrix} \cdot 4.28 = \begin{bmatrix}1.416 \\ -1.612 \\ 0.22\end{bmatrix}$
接下来重复第3步，计算 $\hat{b_1}$ ， $\hat{b_1}$ 和 $\hat{b_1}$ 对 $r$ 的贡献.

$w = A^T \cdot r = ⎡ ⎣ ⎢ - 0.9428 - 0.2357 0.2357 0.9535 - 0.2860 - 0.0953 0.4082 - 0.4082 - 0.8165 ⎤ ⎦ ⎥ T \cdot ⎡ ⎣ ⎢ 1.416 - 1.612 0.22 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ - 0.9032 1.7902 1.4158 ⎤ ⎦ ⎥$ $w = \hat{\mathrm{A}}^{\mathrm{T}} \cdot r = \begin{bmatrix}-0.9428 & 0.9535 & 0.4082 \\ -0.2357 & -0.2860 & -0.4082\\ 0.2357 & -0.0953 & -0.8165\end{bmatrix}^{\mathrm{T}} \cdot \begin{bmatrix}1.416 \\ -1.612 \\ 0.22\end{bmatrix} = \begin{bmatrix}-0.9032 \\ 1.7902 \\ 1.4158\end{bmatrix}$

选择第二个贡献最大的基 $b_3$ ，其贡献值为1.7902.
将选择的 $b_3$ 加入到 $\mathrm{A}_{new}$ 中

$\mathrm{A}_{new} = \begin{bmatrix}b_1 & b_2\end{bmatrix} = \begin{bmatrix}0.3 & 1\\ 0.4 & -0.3\\ 1 & -0.1\end{bmatrix}$
用最小二乘法计算 $L_p = \mathrm{A}_{new}^+ \cdot y = \begin{bmatrix}4.1702 \\ 1.7149\end{bmatrix}$

这个 $L_p$ 对应着 $b_2$ 和 $b_3$ ，因此 $x_{rec} = \begin{bmatrix}0 \\ 4.172 \\ 1.7149 \\ 0\end{bmatrix}$
接着计算残差
$r = y - A n e w \cdot L p = ⎡ ⎣ ⎢ 2.7 0.1 4.5 ⎤ ⎦ ⎥ - ⎡ ⎣ ⎢ 0.3 0.4 1 1 - 0.3 - 0.1 ⎤ ⎦ ⎥ \cdot [4.172 1.7149] = ⎡ ⎣ ⎢ - 0.266 - 1.0536 0.5012 ⎤ ⎦ ⎥$ $r = y - \mathrm{A}_{new} \cdot L_p = \begin{bmatrix}2.7 \\ 0.1 \\ 4.5\end{bmatrix} - \begin{bmatrix}0.3 & 1\\ 0.4 & -0.3\\ 1 & -0.1\end{bmatrix} \cdot \begin{bmatrix}4.172 \\ 1.7149\end{bmatrix} = \begin{bmatrix}-0.266 \\ -1.0536 \\ 0.5012\end{bmatrix}$
重复步骤2，进行最后一次迭代
计算 $b_1$ 和 $b_4$ 的贡献值 $w = \begin{bmatrix}\hat{b_1} & \hat{b_2}\end{bmatrix} \cdot r = \begin{bmatrix}-0.9428 & 0.4082 \\ -0.2357 & -0.4082\\ 0.2357 & -0.8165\end{bmatrix}^{\mathrm{T}} \cdot \begin{bmatrix}-0.266 \\ -1.0536 \\ 0.5012\end{bmatrix} = \begin{bmatrix}0.6172 \\ 0.7308\end{bmatrix}$

这里 $b_4$ 提供了最大贡献值0.7308.
将 $b_4$ 加入 $\mathrm{A}_{new} = \begin{bmatrix}0.3 & 1 & 0.4 \\ 0.4 & -0.3 & -0.4 \\ 1 & -0.1 & 0.8\end{bmatrix}$
利用最小二乘计算 $L_p = \mathrm{A}_{new}^+ \cdot y = \begin{bmatrix}3 \\ 2 \\1\end{bmatrix}$ ，对应的 $x_{rec} = \begin{bmatrix}0 \\ 3 \\ 1 \\ 2\end{bmatrix}$
接着计算残差
$r = y - A n e w \cdot L p = ⎡ ⎣ ⎢ 2.7 0.1 4.5 ⎤ ⎦ ⎥ - ⎡ ⎣ ⎢ 0.3 0.4 1 1 - 0.3 - 0.1 0.4 - 0.4 0.8 ⎤ ⎦ ⎥ \cdot ⎡ ⎣ ⎢ 312 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ 000 ⎤ ⎦ ⎥$ $r = y - \mathrm{A}_{new} \cdot L_p = \begin{bmatrix}2.7 \\ 0.1 \\ 4.5\end{bmatrix} - \begin{bmatrix}0.3 & 1 & 0.4\\ 0.4 & -0.3 & -0.4\\ 1 & -0.1 & 0.8\end{bmatrix} \cdot \begin{bmatrix}3 \\ 1 \\ 2\end{bmatrix} = \begin{bmatrix}0 \\ 0 \\ 0\end{bmatrix}$
我们的迭代到此为止，因为此时残差已经为0，重建的 $x$ 为 $x_{rec} = \begin{bmatrix}0 \\ 3 \\1 \\2\end{bmatrix}$ ，和原来的信号相同.

需要注意的问题

通过上面的迭代计算过程，我们应该注意如下几点：

OMP中最大贡献值的计算需要对基向量进行标准化处理，不是由原始基得到的.
如果给定的基向量已经是单位向量，则不需要进行标准化.
基向量对 $y$ 值的贡献的计算是通过标准化以后的基向量和残差的点积进行计算的.
在MP算法中，重建系数 $x_{rec}$ 的计算是通过基向量和残差的点积进行计算的，在OMP算法中， $x_{rec}$ 的计算是通过最小二乘法得到 $\mathrm{A}_{new}$ 相对于 $y$ 的系数得到的，即 $L_p$ 的计算. $L_p$ 向量中的值直接对应于 $x_{rec}$ 的相应位置. $\mathrm{A}_{new}$ 通过每次对基向量的选择得到. 这个过程是需要时间的，因此OMP比MP慢. （不是应该OMP收敛的快吗？）
残差 $r$ 的计算通过原始的 $y$ 值和 $\mathrm{A}_{new}$ ， $L_p$ 得到.
迭代的次数最多等于 $\mathrm{A}$ 矩阵的行数M，或者如果给定了稀疏度 $K$ ，则迭代 $K$ 次. 如果 $K < M$ ，则已知的 $K$ 可以加快计算结束，如果 $K$ 未知，则迭代 $M$ 次.

说明总结

在正交匹配追踪OMP中，残差总是与已经选择过的原子正交的。这意味着一个原子不会被选择两次，结果会在有限的几步收敛。

OMP算法步骤描述：

输入：字典矩阵 $\mathrm{A}$ ，采样向量 $y$ ，稀疏度 $k$ .

输出： $x$ 的 $K$ 稀疏逼近 $\hat{x}$ .

初始化：残差 $r_0 = y$ ，索引集 $\Lambda_0 = \emptyset$ ， $t=1$ .

循环执行步骤1-5：

找出残差 $r$ 和字典矩阵的列 $\mathrm{A}_i$ 积中最大值所对应的脚标 $\lambda$ ，即 $\lambda_t = \arg \max_{i=1,\cdots, N}\left|<r_{t-1},\mathrm{A}_i>\right|$ .
更新索引集 $\Lambda_t = \Lambda_{t-1} \cup \{\lambda_t\}$ ，记录找到的字典矩阵中的重建原子集合 $A_t = [A_{t-1}, A_{\lambda_t}]$ .
由最小二乘得到 $\hat{x}_t = \arg \min \left|| y - A_t \hat{x} |\right|$ .
更新残差 $r_t = y - A_t \hat{x}_t$ ， $t=t+1$ .
判断是否满足 $t > K$ ，若满足，则迭代停止；若不满足，则继续执行步骤1.

确定要放弃本次机会？
福利倒计时
: :

立减 ¥
普通VIP年卡可用
立即使用

卡尔曼和玻尔兹曼谁曼

关注关注

68
点赞

踩

258

收藏

觉得还不错? 一键收藏

17
评论

复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

正交匹配追踪（Orthogonal Matching Pursuit, OMP）的MATLAB实现

计算机视觉之光

02-21 1414

压缩感知（Compressed Sensing, CS）是一种利用稀疏信号的先验知识，用远少于奈奎斯特采样定理要求的样本数目恢复整个信号的技术。正交匹配追踪（Orthogonal Matching Pursuit, OMP）是一种常见的贪婪算法（Greedy algorithm），用于解决压缩感知中的信号重构问题。OMP算法试图找到一组稀疏基，这些基与测量值之间有最大的相关性，并且用于迭代地重构原始信号。

正交匹配追踪法(OMP)

qq_20186593的博客

05-23 3111

正交匹配追踪法(OMP) 模型 OrthogonalMatchingPursuit (正交匹配追踪法)使用了 OMP 算法近似拟合了一个带l0l0l_0范数限制的线性模型。当提供参数n_nonzero_coefs时，优化目标为： minw||y−Xw||22s.t.||w||0≤nnonzero_coefsminw||y−Xw||22s.t.||w||0≤nnonzero_coefs \...

17 条评论您还未登录，请先登录后发表或查看评论

匹配追踪MP和正交匹配追踪OMP

最新发布

aixdm的博客

12-28 1046

近期看了一些匹配追踪MP和正交匹配跟踪OMP的相关论文和博文，现在将自己的理解简记于此，仅供参考。

正交匹配追踪算法

wuzhanghon的专栏

04-08 5550

for times=1:m; % 迭代次数 for col=1:N; % 恢复矩阵的所有列向量 product(col)=abs(T(:,col)'*r_n); % 恢复矩阵的列向量和残差的投影系数(内积值)

正交匹配追踪算法（OMP）

weixin_43601588的博客

04-27 1万+

文章目录前言一、信号模型和逆问题二、OMP原理三、伪代码四、MATLAB代码总结前言记录OMP算法的学习过程。一、信号模型和逆问题对于非齐次线性方程组Ax=bAx = bAx=b式中b∈Rm,A∈Rm∗n,x∈Rmb \in R^m,A \in R^{m*n},x \in R^mb∈Rm,A∈Rm∗n,x∈Rm。一般如果我们考虑A,xA,xA,x已知，那么求bbb是一个很简单的问题。这个问题的逆问题为，b,Ab,Ab,A已知，去求xxx。当n>>mn>>mn>

正交匹配追踪 OMP 算法原理分析

热门推荐

stubben_bear的专栏

11-07 2万+

% 1-D信号压缩传感的实现(正交匹配追踪法Orthogonal Matching Pursuit) % 测量数M>=K*log(N/K),K是稀疏度,N信号长度,可以近乎完全重构 % 编程人--香港大学电子工程系沙威 Email: wsha@eee.hku.hk % 编程时间：2008年11月18日 % 文档下载: http://www.eee.hku.hk/~wsha

正交匹配追踪(OMP)的matlab程序

02-14

压缩感知的稀疏重构中广泛应用的正交匹配追踪（OMP）算法matlab程序，该算法由香港大学电子工程系沙威老师开发，代码注释详细，便于读者理解。已测试，可以正常运行。读者通过代码可以加深对该算法以及压缩感知、...

正交匹配追踪算法（OMP）：正交匹配追踪算法（OMP）是一种贪婪的压缩感知恢复算法。-matlab开发

05-30

正交匹配追踪算法（OMP）是一种贪婪的压缩感知恢复算法，它在每次迭代中选择感知矩阵的最佳拟合列。然后在由所有先前选择的列跨越的子空间中执行最小二乘 (LS) 优化。这种方法不如 Basis 追踪算法准确，但计算...

贪婪算法中正交匹配追踪算法OMP的原理及仿真归纳.pdf

11-02

贪婪算法中正交匹配追踪算法OMP的原理及仿真归纳.pdf

实现正则化正交匹配追踪的算法代码，也就是ROMP实现的代码

09-12

实现正则化正交匹配追踪的算法代码，也就是ROMP实现的代码

正交匹配算法

03-31

基于MATLAB的正交匹配算法，应用于雷达图像处理，以及微动目标检测

经典的正交匹配追踪算法

07-11

正交匹配追踪法，可用于一维信号的重构，

块正交匹配追踪：使用 BOMP 算法的压缩系统识别。-matlab开发

05-30

在IT领域，尤其是在信号处理和数据压缩的分支中，块正交匹配追踪（Block Orthogonal Matching Pursuit，简称BOMP）是一种重要的算法。这个算法是正交匹配追踪（Orthogonal Matching Pursuit，OMP）的扩展，适用于...

基于块广义正交匹配追踪的块稀疏信号恢复

03-09

不同于基本的正交匹配追踪（OMP），gOMP在每次迭代中选择多个索引而不是一个，且不需要额外的后处理操作。gOMP算法是由Wang等人提出，它可以高效地恢复稀疏信号。 4. **块稀疏信号恢复（Block Sparse Signal ...

通俗理解正交匹配追踪（OMP）算法及MATLAB代码实现

Cuby要读博的博客

12-19 1万+

【OTFS数学知识补充1】通俗理解正交匹配追踪（OMP）算法及MATLAB代码实现

正交设计 python算法_基于压缩感知的正交匹配追踪算法在Python中的实现,OMP,OrthogonalMatchingPursuit,python...

weixin_39833763的博客

12-24 410

论文原文：% Signal Recovery From Random Measurements Via Orthogonal Matching% Pursuit，IEEE TRANSACTIONS ON INFORMATION THEORY, VOL. 53, NO. 12实现代码：def cs_omp(y,Phi,N,K):residual=y #初始化残差index=np.zeros(N...

正交匹配追踪算法matlab

08-12

正交匹配追踪(OMP)算法是一种用于信号稀疏重建的算法。该算法基于贪婪迭代的思想，通过选择与当前残差最相关的测量矩阵Φ的列，逐步减少残差，最终达到稀疏度K的重构目标。以下是一个用MATLAB实现的正交匹配追踪算法代码: ```MATLAB clear; clc; m = 64＊＊＊＊＊＊＊＊＊<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [压缩感知重构算法之正交匹配追踪(OMP)](https://blog.csdn.net/jbb0523/article/details/45130793)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [压缩感知重构算法之正交匹配追踪（omp）及其matlab实现](https://blog.csdn.net/qqin0110/article/details/79117355)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [正交匹配追踪算法（OMP）](https://blog.csdn.net/weixin_43601588/article/details/124453497)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]