【压缩感知合集7】压缩感知RIP有限等距性：定义解析，理解说明，数学原理推导

0 前情提要

0.1 数学模型和总体框图如下

给定输入信号$\mathbf{X}\in {\mathbb{R}}^{N\times 1}$，最终想要得到压缩信号$\mathbf{A}\in {\mathbb{R}}^{M\times 1}$，$K<<N$

0.2 压缩过程图例分析如下

整个压缩过程也可以被称为感知过程
$$\mathbf{A}=\mathbf{\Phi }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{Y}=\mathbf{\Theta }\mathbf{Y}$$

$\mathbf{\Theta }$即为感知过程的核心命名为感知矩阵

符号	含义	维度	属性
$\mathbf{X}$	输入信号；待压缩信号	${\mathbb{R}}^{N\times 1}$	未知，需要恢复
$\mathbf{\Phi }$	观测矩阵；测量矩阵	${\mathbb{R}}^{M\times N}$	已知（非自适应性）
$\mathbf{\Psi }$	变换矩阵；变换基矩阵；稀疏基矩阵；稀疏矩阵；正交基字典矩阵	${\mathbb{R}}^{N\times N}$	已知（非自适应性）
$\mathbf{Y}$	正交基变换后的稀疏表示	${\mathbb{R}}^{N\times 1}$	未知，需要恢复
$\mathbf{\Theta }$	感知矩阵，传感矩阵	${\mathbb{R}}^{M\times N}$	已知（非自适应性）
$\mathbf{A}$	观测压缩所得到压缩信号	${\mathbb{R}}^{M\times 1}$	已知

0.3 算法重构恢复过程如下

在得到已经压缩完的采样信号$\mathbf{A}$后，根据确定的固定性观测矩阵$\mathbf{\Phi }$和稀疏矩阵$\mathbf{\Psi }$的先验信息进行恢复，数学表达如下
$$\check{\mathbf{X}}=f(\mathbf{A},\mathbf{\Theta })$$
而$M<<N$，欠定方程，一般可以抽象为如下求解任务

$$\begin{gathered} \min {\Vert {\mathbf{\Psi }}^T\mathbf{X}\Vert }_0 \\ s.t.\mathbf{\Theta }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{X}=\mathbf{A} \end{gathered}$$

注意

若$N=M$，则可轻松由$\mathbf{A}$解出$\mathbf{X}$和$\mathbf{Y}$

而$M<<N$，可根据稀疏表示下的信号$\mathbf{Y}$和矩阵所具有的RIP性质重构

1 发展历史

RIP是压缩感知领域的一个重要概念，主要可以被用来分析还原算法的表现好坏。

年份	事件	相关论文/Reference
2005	Emmanuel Candès、陶哲轩提出了当\delta_{2s}<1时可以保证(P0)有唯一解，并且用反证法对此问题进行了证明，大概思路是假设有两个解，会发现从RIP性质的不等式中可以得出这两个解是相等的。	Candes, E.; Tao, T. (2005). Decoding by linear programming. IEEE Transactions on Information Theory. 59(8):4203-4215.
2006	Emmanuel Candès、陶哲轩和David Donoho证明了在已知信号稀疏性的情况下，可能凭借较采样定理所规定更少的采样数重建原信号，这一理论也是压缩感知的基石。	Candès, E.; Romberg, J. K.; Tao, T. (2006). Stable signal recovery from incomplete and inaccurate measurements. Communications on Pure and Applied Mathematics. 59 (8): 1207–1223.
2007	Richard Baraniuk等人提出了一种简单的技术，用于验证压缩感知基础的随机矩阵的RIP性质。	Baraniuk, R.G., Davenport, M.A., DeVore, R.A., & Wakin, M.B. (2007). A Simple Proof of the Restricted Isometry Property for Random Matrices.
2008	Emmanuel Candès证明了当 ${\delta }_{2K}<1$ 时可以保证零范数问题有唯一的稀疏解，而当 ${\delta }_{2s}s<\sqrt{2}-1$ 时则可以保证0范数和1范数等价。零范数求解为NP-hard问题，在此前提下将其转化为1范数求最优化问题，这时是个凸优化，对于求解很有帮助。	Candes, E. (2008). The restricted isometry property and its implications for compressedsensing. Comptes Rendus Mathematique. 346(8-9): 589-592.

2 本篇的主要思路

前文有一定的简单介绍和逻辑分析（【压缩感知合集6】压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件、RIP条件、矩阵不相关等限制条件才可以恢复信号的逻辑分析）这一篇文章我们详细理解一下，这个条件的必要性

主要的问题如下

• RIP性质是什么？
• 为什么需要RIP性质？
• 为什么介绍K阶RIP性质后恢复K稀疏信号又要用2K阶RIP性质？

3 RIP性质定义

RIP性质：有限等距性质（Restricted Isometry Property，RIP）

不同文献上表达RIP的方式不同，一般主要有以下几种（为了不影响理解我将论文中使用的一些字母进行了替换，换成了我前文例子中的字母表示，但是不影响他对性质的具体定义）：

中文定义一

传感矩阵 $\mathbf{\Theta }$ 的RIP参数 ${\delta }_k$ 为满足下式的最小值 $\delta$
$$(1-\delta )\Vert \mathbf{Y}{\Vert }_2^2⩽{\Vert \mathbf{\Theta }\mathbf{Y}\Vert }_2^2⩽(1+\delta )\Vert \mathbf{Y}{\Vert }_2^2$$
其中 $\mathbf{Y}$ 为 $K$ 稀疏信号。若 ${\delta }_K<1$ ，则称测量矩阵 $\mathbf{\Theta }$ 满足 $K$ 阶RIP。

王强，李佳，沈毅.压缩感知中确定性测量矩阵构造算法综述[J]. 电子学报，2013，41(10)：2041-2050.

中文定义二

为了重构稀疏信号，Candès和Tao给出并证明了传感矩阵 $\mathbf{\Theta }$ 必须满足约束等距性条件。

对于任意 $\mathbf{c}\in {\mathbf{R}}^{|T|}$ 和存在常数 ${\delta }_K\in (0,1)$ , 如果
$$\left(1-{\delta }_K\right)\Vert \mathbf{c}{\Vert }_2^2\le {\Vert {\mathbf{\Theta }}_T\mathbf{c}\Vert }_2^2\le \left(1+{\delta }_K\right)\Vert \mathbf{c}{\Vert }_2^2$$
成立，其中 T ⊂ { 1 , ⋯   , N } T \subset\{1, \cdots, N\} T⊂{1,⋯,N} ， $\left|T\right|\le K$ ，$\left|T\right|$ 表示集合的势，实数集内集合的势就是元素的个数，${\mathbf{\Theta }}_T$ 为 $\mathbf{\Theta }$ 中由索引集 $T$ 所指示的相关列构成的大小为 $K\times \left|T\right|$ 的子矩阵，则称矩阵 $\mathbf{\Theta }$ 满足 $K$ 阶有限等距性。

通常，对于一个 $K$ 稀疏信号 $\mathbf{Y}$ （其 $K$ 个非零值的位置是未知的），可以通过重构公式
$$\check{\mathbf{Y}}=\arg \min \Vert \mathbf{Y}{\Vert }_0\text{ s.t. }\mathbf{A}=\mathbf{\Theta }\mathbf{X}$$
实现从 $\mathbf{A}$ 精确重构出 $\mathbf{Y}$ 或者 $\mathbf{X}$ 的充分条件是：矩阵 $\mathbf{\Theta }$ ， 对于任意 $\mathbf{c}\in {\mathbf{R}}^{|T|}$ 和存在常数 ${\delta }_{2K}\in (0,1)$ 有 $2K$ 阶有限等距性, 即
$$\left(1-{\delta }_{2K}\right)\Vert \mathbf{c}{\Vert }_2^2\le {\Vert {\mathbf{\Theta }}_T\mathbf{c}\Vert }_2^2\le \left(1+{\delta }_{2K}\right)\Vert \mathbf{c}{\Vert }_2^2$$
成立，其中 T ⊂ { 1 , ⋯   , N } , ∣ T ∣ ≤ 2 K T \subset\{1, \cdots, N\}, |T| \leq 2 K T⊂{1,⋯,N},∣T∣≤2K。

李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.

中文定义三

需要设计一个平稳的、与变换基 $\mathbf{\Psi }$ 不相关的 $M\times N$ 维观测矩阵 $\mathbf{\Phi }$ ，对 $\mathbf{Y}$ 进行观测得到观测矩阵
$$\mathbf{A}=\mathbf{\Phi }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{Y}$$
该过程也可以表示为信号 $ \boldsymbol{Y}$ 通过矩阵 $\mathbf{\Theta }$ 进行非自适应观测： $\mathbf{A}=\mathbf{\Theta }\mathbf{Y}$

其中 $\mathbf{\Theta }=\mathbf{\Phi }\mathbf{\Psi }$。需要关注的问题是观测矩阵 $\mathbf{\Phi }$ 的选取，需要保证稀疏向量 $\mathbf{Y}$ 从 $N$ 维降到 $M$ 维时重要信息不被破坏。在压缩感知理论中, 有限等距性质是判断矩阵是否可以成为测量矩阵的一个重要的标准。

对于 $K$ 稀疏向量 $\mathbf{Y}\in {\mathbf{R}}^N$ 来说，当它满足如下公式时，传感矩阵 $\mathbf{\Theta }$ 满足有限等距性质。
$$(1-\epsilon )\Vert \mathbf{Y}{\Vert }_2⩽\Vert \mathbf{\Theta }\mathbf{Y}{\Vert }_2⩽(1+\epsilon )\Vert \mathbf{Y}{\Vert }_2$$

李坤，马彩文，李艳，陈萍. 压缩感知重构算法综述[J]. 红外与激光工程，2013，42(z1)：225-232.

英文定义一

最多人引用的出处

英文原文：

整理归纳翻译，并改变字母如下：

假设 $\mathbf{F}$ 是有限个列向量 ${\mathbf{v}}_j\in {\mathbf{R}}^{P\times 1}$ 的集合矩阵，其中 $j\in J$

对于任意整数$K$ ， $1\le K\le \left|J\right|$，我们定义 $K$ 阶有限等距系数 ${\delta }_K$ 为满足下式的最小值
$$\left(1-{\delta }_K\right)\Vert \mathbf{c}{\Vert }^2\le {\Vert {\mathbf{F}}_T\mathbf{c}\Vert }^2\le \left(1+{\delta }_K\right)\Vert \mathbf{c}{\Vert }^2$$
式中的 $T$ 为 $J$ 的任意子集 $T\subset J$ ，元素个数最大为 $K$ ，$\mathbf{c}$ 可以是多个任意实数作为系数 $c_j$ 构成的向量，其中 $j\in T$

个人注释：

• 如果 J = { 1 , 2 , . . . , N } J = \{1,2,...,N\} J={1,2,...,N} ，$J$ 的势为 $N$ ，即为$\left|J\right|=N$
• 对于构成 $\mathbf{F}$ 的列向量 ${\mathbf{v}}_j$ ，有 $j\in J$ ，也就是说 $j=1,2,3,...N$，$\mathbf{F}$ 共有 $N$ 个列向量${\mathbf{v}}_j$，每个列向量都 ${\mathbf{v}}_j\in {\mathbf{R}}^{p\times 1}$
• 对于构成 ${\mathbf{F}}_T$ 的列向量 ${\mathbf{v}}_j$ ，有 $j\in T$ ，其中 $T$ 为 $J$ 的子集，此时可以理解为 ${\mathbf{F}}_T$ 共有 $|T|$ 个列向量 ${\mathbf{v}}_j$
• 通过这种子集的方式，实现 $|T|<|J|$ ，来表示稀疏，通过子集的势（也就是子集的元素数量），实现 $|T|<K$ 来表示 $K$ 阶的要求

CandesE, Tao T. Decoding by linear programming. IEEE Transactions on InformationTheory, 2005,59(8):4203-4215.

英文定义二

英文原文

整理归纳翻译，并改变字母如下：

对于每一个整数 $K=1,2,...$ ，定义矩阵 $\mathbf{\Theta }$ 的等距系数 ${\delta }_k$ ， ${\delta }_k$ 为在所有 $\mathbf{K}$ 稀疏向量 $\mathbf{Y}$ 情况下，都满足下面公式的最小值：
$$\left(1-{\delta }_K\right)\Vert \mathbf{Y}{\Vert }_{{\ell }_2}^2\le \Vert \mathbf{\Theta }\mathbf{Y}{\Vert }_{{\ell }_2}^2\le \left(1+{\delta }_K\right)\Vert \mathbf{Y}{\Vert }_{{\ell }_2}^2$$
如果一个向量最多有 $K$ 个非零条目，则称它是 $K$ 稀疏的。

CandesE. The restricted isometry property and its implications for compressedsensing[J]. Comptes Rendus Mathematique, 2008,346(8-9): 589-592.

英文定义三

英文原文

整理归纳翻译，并改变字母如下：

这个简化问题（上所叙述的精确恢复问题）充分必要条件是：对于任意和$\mathbf{Y}$有同样稀疏度$K$的向量$\mathbf{V}$存在$\epsilon >0$满足下面的公式
$$1-\epsilon \le \frac{\Vert \mathbf{\Theta }\mathbf{v}{\Vert }_2}{\Vert \mathbf{v}{\Vert }_2}\le 1+\epsilon$$

BaraniukR G. Compressive sensing. IEEE Signal Processing Magazine, 2007,24(4): 118-121.

定义之间的分析比较

三种中文RIP定义中：

• 其实前两种是等价的。

• 中文定义一定义中要注意要求 $\mathbf{Y}$ 为 $K$ 稀疏信号。

• 中文定义二研究的对象矩阵是从一个矩阵中根据索引 $T$ 选出其中的若干列构成的子矩阵，而并没有对 $\mathbf{c}$ 有稀疏性的要求；也就是说你可以这样认为，定义二中的 $\mathbf{c}$ 是第一种中的 $\mathbf{Y}$ 的 $K$ 个非零项，而索引 $T$ 选出的几列则是第一种中的矩阵对应 $\mathbf{Y}$ 的非零项的那几列。

• 中文定义三和前面两种略有不同，整体上少一个平方，其实可以这样认为，中文定义三中的 $(1\pm \epsilon )$ 的平方实际上是第一、二种中的 $(1+\delta )$ ，这会导致推导的参数 $\epsilon$ 和 $\delta$ 有差异。

三种英文RIP定义中：

• 英文定义一和前面的中文定义二基本一致。

• 英文定义二和前面的中文定义一基本一致.

• 从前两种定义中其实可以发现，人家是在说限制等距常数（Restricted IsometryConstant, RIC）的时候把RIP性质引出来的，RIP性质只要要求 $\delta \in (0,1)$ 就可以了，而RIC是指满足RIP的最小$\delta$。

• 英文定义三和中文定义三也是基本一致

总结

RIP性质只要要求 $0<\delta <1$ 就可以了，而RIC是指满足RIP的最小 $\delta$ 。整个式子可以视为信号跟传感矩阵的相似程度，也就是做转换q前后的能量，要被RIP限制住。

4 RIP性质到底是对哪一个矩阵的约束？

RIP性质的定义解释完毕，虽然在例子当中都有翻译和换算成统一的符号。在这里再进行一下总结和描述。

符号	含义	维度	属性
$\mathbf{X}$	输入信号；待压缩信号	${\mathbb{R}}^{N\times 1}$	未知，需要恢复
$\mathbf{\Phi }$	观测矩阵；测量矩阵	${\mathbb{R}}^{M\times N}$	已知（非自适应性）
$\mathbf{\Psi }$	变换矩阵；变换基矩阵；稀疏基矩阵；稀疏矩阵；正交基字典矩阵	${\mathbb{R}}^{N\times N}$	已知（非自适应性）
$\mathbf{Y}$	正交基变换后的稀疏表示	${\mathbb{R}}^{N\times 1}$	未知，需要恢复
$\mathbf{\Theta }$	感知矩阵，传感矩阵	${\mathbb{R}}^{M\times N}$	已知（非自适应性）
$\mathbf{A}$	观测压缩所得到压缩信号	${\mathbb{R}}^{M\times 1}$	已知

所有定义中定义都是类似于如下形式：（我用我自己的数学语言概括一下）
$$\begin{array}{rl}& \mathbf{Y}\sim \text{sparse}:\\ & \mathbf{Y}\in {\mathbf{R}}^{N\times 1},\forall p\in (0,2),\exists R>0:\\ & \Vert \mathbf{Y}{\Vert }_p\equiv {\left(\sum _{i=0}^{N-1}{\left|y_i\right|}^p\right)}^{1/p}⩽R\\ & \mathbf{Y}\sim \text{Strict K-sparse}:\\ & \mathbf{Y}\in {\mathbf{R}}^{N\times 1},\Vert \mathbf{Y}{\Vert }_0=K\\ & \mathbf{\Theta }\sim \text{K-RIP}:\\ & \exists {\delta }_K\in (0,1),\text{For}\forall \mathbf{Y}\sim \text{K-sparse},\mathbf{Y}\in {\mathbf{R}}^{N\times 1}\\ & \left(1-{\delta }_K\right)\Vert \mathbf{Y}{\Vert }^2\le {\Vert \mathbf{\Theta }\mathbf{Y}\Vert }^2\le \left(1+{\delta }_K\right)\Vert \mathbf{Y}{\Vert }^2\end{array}$$

K阶RIP即为存在常数 ${\delta }_K\in (0,1)$ ，对于任意 $K$ 稀疏的向量 $\mathbf{Y}\in {\mathbf{R}}^{N\times 1}$（一般保证 $K<<M<<N$ ） ，都使得传感矩阵 $\mathbf{\Theta }$ 能符合下面要求
$$\left(1-{\delta }_K\right)\Vert \mathbf{Y}{\Vert }^2\le {\Vert \mathbf{\Theta }\mathbf{Y}\Vert }^2\le \left(1+{\delta }_K\right)\Vert \mathbf{Y}{\Vert }^2$$

文献[李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.]

其中这里提到的文献[4]即为文献[BaraniukR G. Compressive sensing. IEEE Signal Processing Magazine, 2007,24(4):118-121.]

RIP是针对传感矩阵 $\mathbf{\Theta }$ 的没有问题，但是很多地方又说是针对测量矩阵 $\mathbf{\Phi }$ 。这里解答一下这个问题。直接设计满足RIP的矩阵很难。但是 “由于稀疏矩阵是固定的，要使得传感矩阵 $\mathbf{\Theta }$ 满足约束等距条件，可以通过设计测量矩阵 $\mathbf{\Phi }$ 解决“。设计测量矩阵，让测量矩阵 $\mathbf{\Phi }$ 满足某些性质之后可以实现传感矩阵 $\mathbf{\Theta }$ 满足RIP。

5 为何要满足RIP有限等距性质的解释

5.1 从能量角度考量

向量的2范数的平方就是信号的能量，换成常见的公式：
$$E=\Vert \mathbf{X}{\Vert }_2^2=\sum _{i=-\infty }^{\infty }|x_i{|}^2$$
这个公式可以数字信号处理教材中讲信号分类的章节找到，实际上将信号看成是电压信号或电流信号，这是在单位电阻上的能量（即$E=U^{2}T/R$ 或 $E=I^{2}RT$，$R=1\Omega$，再离散可）。

这里将中文定义一中的RIP性质的不等式按本文定义的符号重新写出：
$$(1-\delta )\Vert \mathbf{Y}{\Vert }_2^2\le \Vert \mathbf{\Theta }\mathbf{Y}{\Vert }_2^2\le (1+\delta )\Vert \mathbf{Y}{\Vert }_2^2$$
这里的 $\Vert \mathbf{\Theta }\mathbf{Y}{\Vert }_2^2$ 实际上是上面能量公式中的 $\Vert X{\Vert }_2^2$ ，即输出信号的能量 $\Vert \mathbf{A}{\Vert }_2^2$， $\Vert \mathbf{Y}{\Vert }_2^2$ 即输入信号的能量。

稀疏变换 $\mathbf{X}=\mathbf{\Psi }\mathbf{Y}$ 为正交变换，而正交变换保持能量不变，即信号理论中的Parseval定理。

RIP其实可以看成刻画一个矩阵和标准正交阵的相似程度。其对于向量做变化后的能量（范数平方）相较于原向量的能量的变化不超过一定的范围。

RIP对于Stability 的分析非常有效。RIP 是由 Candes 和 Tao 提出来的，可以看他们的提出这个概念的文章: Decoding by LinearProgramming（注：此段话在评论部分）。

此处最核心的逻辑解释应该是：将稀疏信息量 $\mathbf{Y}$ 观测为 $\mathbf{A}$ 的过程中保证 $\mathbf{Y}$ 中比较有价值的$K$各分量不会在转换中能量损失太多或者被无端增幅太多，导致不可被恢复。

其实取极限当 $\delta =0$ 时（RIP要求$\delta \in (0,1)$），RIP的不等式实际上表示的是观测所得向量 $\mathbf{A}$ 的能量等于信号 $\mathbf{X}$ 的能量，在线性代数中所讲的正交变换也具有这种性质，也称为等距变换（把信号将为二维或三维时2范数 $\Vert \cdot {\Vert }_2$ 的平方可形象的理解为到原点的距离）。当取到极限 $\delta =0$ 时也能保持能量相等（也可以称为等距），而RIP要求$0<\delta <1$，所以不可能等距，所以就称为有限等距性质。

5.2 从相关性的角度考量

从这个角度探讨一下测量矩阵 $\mathbf{\Phi }\in {\mathbf{R}}^{M\times N}$ 需要满足的这个性质（后期被证明和RIP的矩阵不相关性质具体叙述在上一篇blog中有）。从这个角度可能比较好理解有限等距性。我们用极限分析法。如果我们把 $\mathbf{\Phi }$ 构造成和 $\mathbf{\Psi }\in {\mathbf{R}}^{N\times N}$ 极端相似（Coherence）的矩阵，也就是直接拿出 $\mathbf{\Psi }$ 的前 $M$ 列，转置一下构成 $\mathbf{\Phi }$ 。用这个构造带入，我们将得到：
$$\begin{array}{rl}\mathbf{A}& =\mathbf{\Phi }\mathbf{\Psi }\mathbf{Y}\\ & =\left[\begin{array}{c}{\psi }_{11}{\psi }_{21}\cdots {\psi }_{N1}\\ {\psi }_{12}{\psi }_{22}\cdots {\psi }_{N2}\\ ⋮⋮⋮\\ {\psi }_{1M}{\psi }_{2M}\cdots {\psi }_{NM}\end{array}\right]\left[\begin{array}{c}{\psi }_{11}{\psi }_{12}\cdots {\psi }_{1M}\cdots {\psi }_{1N}\\ {\psi }_{21}{\psi }_{22}\cdots {\psi }_{2M}\cdots {\psi }_{2N}\\ ⋮⋮⋮\\ {\psi }_{N1}{\psi }_{N2}\cdots {\psi }_{NM}\cdots {\psi }_{NN}\end{array}\right]\mathbf{Y}\end{array}$$
你可以把 $\mathbf{\Phi }$ 与 $\mathbf{\Psi }$ 相乘看作是从 $\mathbf{\Phi }$ 中取了 $K$ 个列出来按一定系数加在了一起。也就是说，你强迫的认为前 $M$ 个变换域的基向量是重要的。而事实是，重要的 $K$ 个分量的位置我们事先是不知道的，是随着信号的不同而不同的。所以实际上不会有这种随便取 $K$ 列就完全正交的矩阵，因为传感矩阵 $\mathbf{\Theta }$ 不可能是正交矩阵（ $\mathbf{\Theta }$ 都不是方阵）。

当然，你可以将 $\mathbf{\Phi }$ 恰好构造成对应$\mathbf{\Psi }$ 最重要分量的 $K$ 行，得到正确的结果。而这种的做法要付出的概率代价是 $\frac{1}{C_N^K}$ 。也就是说，你必须穷举 $C_N^K$ 次，才能得到你想要的结果。但是，即使你有幸碰到了它， 也并不能肯定这个结果就是对的。因此，我们选择 $\mathbf{\Phi }$ 和 $\mathbf{\Psi }$ 极端不相似（Extremely Incoherence ）。于是， $\mathbf{\Phi }$ 很大程度上和随机（Randomnes）这个词相联系， 它可以是满足高斯分布的白噪声矩阵， 或贝努里分布的 ±1矩阵（ 也称作Noiselet ） 等等。除此之外， 我们希望线性测量有稳定的能量性质，也就是它要保持K 个重要分量的长度。综：
$$1-\delta \le \frac{{\Vert \Phi \Psi \mathbf{Y}\Vert }_2}{\Vert \mathbf{Y}{\Vert }_2}\le 1+\delta$$

压缩传感引论(沙威博士)

文献[李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.]

其中这里提到的文献[4]即为文献[BaraniukR G. Compressive sensing. IEEE Signal Processing Magazine, 2007,24(4):118-121.]

这里还提到了”任意 $2K$ 列都不相关“，其实这很好理解：

如果矩阵有 $2K$ 列线性相关，存在一个向量 $\mathbf{Y}$
$$\sum _{i=0}^{2K}{\mathbf{\psi }}_i\ast y_i=0$$
则对于某一个 $2K$ 稀疏的信号，必然会有 $\mathbf{\Psi }\mathbf{Y}=0$，

又因为一个 $2K$ 稀疏的信号可以写成两个 $K$ 稀疏的信号相减（把 $2K$ 稀疏信号的 $2K$ 个非零项分成两部分，每部分分别包含 $K$ 个非零项，其余部分填零，长度与原 $2K$ 稀疏信号保持不变，即得到了两个 $K$ 稀疏信号，其中的一个 $K$ 稀疏信号中的 $K$ 个非零项乘负一，另一部分减这一部分必然等于原始的 $2K$ 稀疏信号），这三个信号分别为${\mathbf{Y}}_{2K},{\mathbf{Y}}_{K_1},{\mathbf{Y}}_{K_2}$

因此有
$$\mathbf{\Theta }({\mathbf{Y}}_{K_1}－{\mathbf{Y}}_{K_2})=0$$
即
$$\mathbf{\Theta }{\mathbf{Y}}_{K_1}=\mathbf{\Theta }{\mathbf{Y}}_{K_2}$$
也就是说对于两个不同的 $K$ 稀疏信号 ${\mathbf{Y}}_{K_1}$ 和 ${\mathbf{Y}}_{K_2}$ ，压缩观测后得到了同一个$\mathbf{A}$ ，即不能保证唯一映射，所以矩阵不能有 $2K$ 列线性相关，否则将不能保证唯一映射。

关于spark常数讲的也是这么个道理，有兴趣可以看一下这篇文章

浅谈压缩感知（十五）：感知矩阵之spark常数 - AndyJee - 博客园

另外还有一篇比较不错的文章

Compressive Sensing

5.3 从唯一映射角度考量

RIP性质保证了观测矩阵不会把两个不同的 $K$ 稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），要求从观测矩阵中抽取的每 $M$ 个列向量构成的矩阵是非奇异的。

当 ${\delta }_{2k}<1$ 时，可以保证零范数问题有唯一的稀疏解

当 ${\delta }_{2k}<\sqrt{2}-1$ 时则可以保证零范数和1范数等价（零范数求解为NP-hard问题，在此前提下将其转化为1范数求最优化问题，这时是个凸优化，之后的blog，会讲一下

Candes E. Therestricted isometry property and its implications for compressed sensing[J].Comptes Rendus Mathematique, 2008,346(8-9): 589-592.

当 ${\delta }_{2k}<\sqrt{2}-1$ 时可以保证问题P0有唯一解，并且用反证法对此问题进行了证明，大概思路是假设有两个解，会发现从RIP性质的不等式中可以得出这两个解是相等的。

Candes E, Tao T.Decoding by linear programming. IEEE Transactions on Information Theory,2005,59(8):4203-4215.

6 总结

矩阵满足 $2K$ 阶RIP保证了能够把任意一个 $K$ 稀疏信号 $\mathbf{Y}$ 映射为唯一的 $\mathbf{A}$ ，也就是说要想通过压缩观测 $\mathbf{A}$ 恢复 $K$ 稀疏信号 $\mathbf{Y}$ ，必须保证传感矩阵满足 $2K$ 阶RIP，满足 $2K$ 阶RIP的矩阵任意 $2K$ 列线性无关，即为不能有任意 $2K$ 列线性相关。

然后还有对于一个感知矩阵而言，一定阶数的RIP 常数越小越好，其物理意义在于RIP 常数越小说明该矩阵内的任意小于该阶数的列向量之间的正交性越好，利用其对稀疏信号进行感知采样时，感知矩阵各列“采集”到的信息差异性越大，越有利于进行信号的重构和恢复。我们对这个矩阵的优化也主要集中在如何是其列间相关性变得更弱，相关性越弱则结果的分辨力应该就越高，更容易被有效恢复。

7 疑问与一些自己的想法解释

从能量角度来说，RIP实际上保证了压缩观测前后的能量变化范围，下限不能为零，上限不能超过原信号的两倍（RIP不等式中取 $\delta =1$ 的极限时）。这里的下限不能为零是很好理解的，当信号能量为零时表示原信号的所有项全部为零，零向量中自然是没有信息的；上限怎么理解呢？为什么压缩观测后的能量不能超过原信号的两倍呢？

我个人做如下的解释：

如果超过了两倍，就一定程度上代表在 $\mathbf{\Phi }\mathbf{\Psi }$ 相乘的过程中，有过多的矩阵行列向量（ $\mathbf{\Phi }$ 的行向量和 $\mathbf{\Psi }$ 的列向量）完成了比较好的匹配（也就是相似），他们在因为较大相似性的情况下，有较多行列向量之间的相关性。导致部分变换基能量的过度集中放大，使得很难实现我们所想要的情况：对于任意 $2K$ 的行列向量都不会有很强的相关性，完成完全的精准的一一对应的恢复（证明见5.3）。

有限等距常数RIC的取范围定义中约束为大于0小于1，RIC越趋近于零则压缩观测前后能量变化越小，是不是可以这样说：RIC越小说明对矩阵的要求越严（能量变化范围小），RIC越大说明对矩阵要求越宽松。比如在证明1范数与0范数问题等价时经常说把 $\delta$ 的范围放宽到某个值（ $\delta$ 范围变大），是不是这么个理呢？

对于RIC的大小是否反应对这个矩阵的约束强弱：是的

RIC越趋近于零则压缩观测前后能量变化越小，越有可能实现在更低采样率下的恢复

8 拓展

压缩感知测量矩阵之有限等距常数RIC的计算

LAST、参考文献

压缩感知测量矩阵之有限等距性质（Restricted Isometry Property, RIP）_彬彬有礼的专栏-CSDN博客_有限等距性质

压缩传感引论(沙威博士)

Compressive Sensing

浅谈压缩感知（十六）：感知矩阵之RIP - AndyJee - 博客园

浅谈压缩感知（十五）：感知矩阵之spark常数 - AndyJee - 博客园

有限等距性质RIP的理解 - 知乎

科学网—压缩感知有限等距性质(RIP)之理解 - 单广君的博文

约束等距性 | 机器之心