压缩感知测量矩阵之有限等距性质（Restricted Isometry Property, RIP）

题目：压缩感知测量矩阵之有限等距性质（Restricted Isometry Property,RIP）

        阅读压缩感知的文献，RIP绝对是一个抬头不见低头见的英文简写，也就是有限等距性质（Restricted Isometry Property, RIP），尤其是研究测量矩阵的童鞋们，这是一个几乎绕不开的术语，所以在测量矩阵这一块首先讨论一下RIP。

一、RIP的定义

        不同文献上表达RIP的方式不同，一般主要有以下三种：

1）王强，李佳，沈毅.压缩感知中确定性测量矩阵构造算法综述[J]. 电子学报，2013，41(10)：2041-2050.（以下称为中文定义一）

2）李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.（以下称为中文定义二）

3）李坤，马彩文，李艳，陈萍. 压缩感知重构算法综述[J]. 红外与激光工程，2013，42(z1)：225-232.（以下称为中文定义三）

        以上三种RIP定义中，其实前两种是等价的。第一种定义中要注意要求x为K稀疏信号；而第二种研究的对象矩阵是从一个矩阵中根据索引T选出其中的几列构成的子矩阵，而并没有对c有稀疏性的要求；也就是说你可以这样认为，第二种中的c是第一种中的x的K个非零项，而索引T选出的几列则是第一种中的矩阵对应x的非零项的那几列。第三种和前面略有不同，整体上少一个平方，其实可以这样认为，第三种中的(1±ε)的平方实际上是第一、二种中的(1±δ)，这会导致推导的参数ε和δ有差异。

        下面给出很多文献所引的参考文献中对RIP的定义，我想应该是RIP的出处吧：

1）CandesE, Tao T. Decoding by linear programming. IEEE Transactions on InformationTheory, 2005,59(8):4203-4215. （以下称为英文定义一）

2）CandesE. The restricted isometry property and its implications for compressedsensing[J]. Comptes Rendus Mathematique, 2008,346(8-9): 589-592. （以下称为英文定义二）

        这里的英文定义二和前面的中文定义一基本一致，英文定义一和前面的中文定义二基本一致。从这两种定义中其实可以发现，人家是在说限制等距常数（Restricted IsometryConstant, RIC）的时候把RIP性质引出来的，RIP性质只要要求0<δ<1就可以了，而RIC是指满足RIP的最小δ。

        其实中文定义三也有对应的英文文献，我猜是来自这篇也很火的参考文献吧：

3）BaraniukR G. Compressive sensing. IEEE Signal Processing Magazine, 2007,24(4): 118-121.（以下称为英文定义三）

二、RIP到底是对哪一个矩阵的约束？

        RIP的定义说完了，下面说RIP性质到底是针对哪一个矩阵的？可能有人会说了，这不废话么，你这篇的题目不就是测量矩阵么？因为国内外的文献一般都是自家用自家的符号（似乎用一套自己的符号才能表明是自己的原创而不是抄袭似的，哈哈），下面呢我用一套自己的符号说一下各个矩阵的名称以方便说明问题：

        压缩观测y=Φx，其中y为观测所得向量M×1，x为原信号N×1（M<<N）。x一般不是稀疏的，但在某个变换域Ψ是稀疏的，即x=Ψθ，其中θ为K稀疏的，即θ只有K个非零项。此时y=ΦΨθ，令A=ΦΨ，则y=Aθ。

        (1) y为观测所得向量，大小为M×1

        (2)x为原信号，大小为N×1

        (3)θ为K稀疏的，是信号在x在某变换域的稀疏表示

        (4) Φ称为观测矩阵、测量矩阵、测量基，大小为M×N

        (5) Ψ称为变换矩阵、变换基、稀疏矩阵、稀疏基、正交基字典矩阵，大小为N×N

        (6)A称为测度矩阵、传感矩阵、CS信息算子，大小为M×N

上式中，一般有K<<M<<N，后面三个矩阵各个文献的叫法不一，以后我将Φ称为测量矩阵、将Ψ称为稀疏矩阵、将A称为传感矩阵。

        好了，符号说完了，在这里我说实际上RIP是针对传感矩阵A的。这里大家只要认真看一下前面的中文定义一和英文定义二就会发现里面都要求x是稀疏的，在这我的这套符号里面（这套符号也是从文献中摘来的）的信号x一般时候都不是稀疏的，所以定义中RIP针对的矩阵不是y=Φx中的Φ，而是y=Aθ中的A，定义中的x实际上是这里的θ。

三、为何要满足RIP性质

        1、能量说

        向量的2范数的平方就是信号的能量，换成常见的公式：

        这个公式可以数字信号处理教材中讲信号分类的章节找到，实际上将信号看成是电压信号或电流信号，这是在单位电阻上的能量（即u²t/R或i²t/R，R=1Ω，再离散即可）。

这里将中文定义一中的RIP性质的不等式按刚才规定好的一套符号重新写出：

        这里的实际上是 ，即输出信号的能量， 即输入信号的能量（稀疏变换x=Ψθ为正交变换，而正交变换保持能量不变，即信号理论中的Parseval定理）。

1）沙威. “压缩传感”引论.http://www.eee.hku.hk/~wsha/Freecode/Files/Compressive_Sensing.pdf

2）mofis001,zhuzhi90. 关于解释压缩感知(CS)理论中restricted isometry property(RIP)的详细文献. 百度知道，2012

        RIP其实可以看成刻画一个矩阵和标准正交阵的相似程度。其对于向量做变化后的 L2 能量（范数平方）相较于原向量的能量的变化不超过RIP。RIP对于Stability 的分析非常有效。RIP 是由Candes 和Tao 提出来的，可以看他们的提出这个概念的文章: Decoding by LinearProgramming（注：此段话在评论部分）

        其实取极限当δ=0时（RIP要求0<δ<1），RIP的不等式实际上表示的是观测所得向量y的能量等于信号x的能量，在线性代数中所讲的正交变换也具有这种性质，也称为等距变换（把信号将为二维或三维时2范数的平方可形象的理解为到原点的距离），当然这里的变换因为传感矩阵A不可能是正交矩阵（不是方阵），但当极限δ=0时也能保持能量相等（也可以称为等距吧），而RIP要求0<δ<1，所以不可能等距，所以就称为有限等距性质吧。（从其它地方见过类似的解释，加上个人的理解，不知是否妥当）

        2、唯一映射说

        个人感觉这种说法还是比较好理解的。

1）juchiyuan, iopiop007. 什么是限制等距性质restricted isometry property.百度知道，2014

        RIP性质（有限等距性质）保证了观测矩阵不会把两个不同的K稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。

2）Candes E. Therestricted isometry property and its implications for compressed sensing[J].Comptes Rendus Mathematique, 2008,346(8-9): 589-592.

3）Candes E, Tao T.Decoding by linear programming. IEEE Transactions on Information Theory,2005,59(8):4203-4215.

        从(2)中可以看出，当δ_2s<1时可以保证零范数问题有唯一的稀疏解，而当δ_2s<sqrt(2)-1时则可以保证零范数和1范数等价（零范数求解为NP-hard问题，在此前提下将其转化为1范数求最优化问题，这时是个凸优化，转化为凸优化后有很多好处，参见压缩感知中的数学知识：凸优化）。

        从(3)中可以看出，当δ_2s<1时可以保证(P0)有唯一解，并且用反证法对此问题进行了证明，大概思路是假设有两个解，会发现从RIP性质的不等式中可以得出这两个解是相等的。

四、其它

        文献[李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377.]中提到：

        其中这里提到的文献[4]即为文献[BaraniukR G. Compressive sensing. IEEE Signal Processing Magazine, 2007,24(4):118-121.]，这里解答了一个问题：“由于稀疏矩阵是固定的，要使得传感矩阵满足约束等距条件，可以通过设计测量矩阵解决”，本文第二部分明确说了RIP是针对传感矩阵的，但为什么我们确来研究测量矩阵呢？我想这就是答案了吧。这里还提到了“2K列都不相关”，其实这很好理解：如果矩阵有2K列线性相关，则对于某一个2K稀疏的信号必然会有Aθ_2K=0，又因为一个2K稀疏的信号可以写成两个K稀疏的信号相减（把2K稀疏信号的2K个非零项分成两部分，每部分分别包含K个非零项，其余部分填零长度与原2K稀疏信号保持不变，即得到了两个K稀疏信号，其中的一个K稀疏信号中的K个非零项乘负一，另一部分减这一部分必然等于2K稀疏信号），因此有A(θ_K1－θ_K2)=0，即Aθ_K1=Aθ_K2，也就是说对于两个不同的K稀疏信号θ_K1和θ_K2，压缩观测后得到了同一个y，即不能保证唯一映射，所以矩阵不能有2K列线性相关，否则将不能保证唯一映射。

五、结语

        总结一下RIP性质：

        矩阵满足2K阶RIP保证了能够把任意一个K稀疏信号θ_K映射为唯一的y，也就是说要想通过压缩观测y恢复K稀疏信号θ_K，必须保证传感矩阵满足2K阶RIP，满足2K阶RIP的矩阵任意2K列线性无关。

        列不相关感觉实际上应该是测量矩阵的另一个参数：spark参数，这个在这里就不说了，下一篇再聊聊吧……

 

        最后提两个疑问：

        从能量角度来说，RIP实际上保证了压缩观测前后的能量变化范围，下限不能为零，上限不能超过原信号的两倍（RIP不等式中取δ=1的极限时）。这里的下限不能为零是很好理解的，当信号能量为零时表示原信号的所有项全部为零，零向量中自然是没有信息的；上限怎么理解呢？为什么压缩观测后的能量不能超过原信号的两倍呢？

        另外，有限等距常数RIC的取范围定义中约束为大于0小于1，RIC越趋近于零则压缩观测前后能量变化越小，是不是可以这样说：RIC越小说明对矩阵的要求越严（能量变化范围小），RIC越大说明对矩阵要求越宽松。比如在证明1范数与0范数问题等价时经常说把δ的范围放宽到某个值（δ范围变大），是不是这么个理呢？