压缩感知(一)

传统压缩方法

  首先我们来谈谈为什么要压缩：我们有一个$N\times 1$的原始信号$x$，但是$N$值很大，在存储、传输和处理上都有一定困难，因而我们希望把高维的$x$ 通过一定的方式投射成更低维的观测向量$y(大小为M\times 1)$，使得便于存储、传输和处理，后面我们还希望能够通过一定的恢复方法把观测向量$y(大小为M\times 1)$恢复成原始信号$x$。

  而且在现实中大多数的实际信号都是高度可压缩的。这是因为信号空间的维度往往非常高，而实际有意义的信号只占其中很小的一部分。如下图，将原图通过傅里叶变换从时域转到频域，在频域图中我们只保留中间1%最有意义的系数，其他99%的系数都丢掉，但是我们通过1%的系数经过反变换重构出的图像和原图在肉眼上几乎一致。  在数学上，一个可压缩信号$x$可以被表示为：$$x=\Phi s$$  其中$\Phi$是一组基，可以是傅里叶基、小波基、离散余弦基等。$s$是一个「稀疏」的向量，也就是大多数的项都为零或者可以忽略的非常小的值。那么在$s$中除了那些数值比较大的元素是有意义的，其余那些数值为零或者接近于零的元素其实是无意义的，它们的占比可能达到了99%，但我们依旧可以直接舍去这些无意义的元素，只保留那些有意义的元素。利用那些有意义的元素，通过反变换我们重建出的信号与原信号相差很小，这就实现了一个压缩和解压缩的过程。

  这里给出传统信号压缩方法的示意图：

  这里给出传统信号压缩方法的过程：

  传统压缩信号的不足：

压缩感知方法

  传统的Shannon／Nyquist 采样定理指出，要使采样之后的数字信号完整地保留原始信号中的信息，采样频率必须大于信号中最高频率的2倍。而压缩感知CS(compressed sensing或者compressed sampling)打破了这个定律，该理论认为：如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。

  这里给出压缩感知方法的示意图：

  压缩感知的流程主要分为三步：

  压缩感知在数学上的表达公式是：$$y=\Phi x=\Phi \Psi \theta =A\theta$$
  （1）$y$为观测所得的向量，大小为$M\times 1(M<<N)$。
  （2）$x$为原始信号，大小为$N\times 1$。
  （3）$\theta$是K稀疏的，是原始信号x在某变换域的稀疏表示，大小和x一样是$N\times 1$。
  （4）$\Phi$为观测矩阵，大小为$M\times N$。
  （5）$\Psi$为稀疏矩阵，大小为$N\times N$。
  （6）A为传感矩阵，是观测矩阵与稀疏矩阵的乘积，大小为$M\times N$。

正交匹配追踪算法

  前面我们提到，压缩感知的第一步便是找到原始信号$x$的稀疏化表示，在上面的数学公式中表现为找到一个稀疏矩阵$\Psi$，使得$\theta =\Psi x$。这里得到的$\theta$是$k$稀疏的，$k$稀疏的意思是在$\theta$中仅有$k$个元素不为零，其余$(N-k)$个元素均为零。这里要说一句，$\Psi$稀疏矩阵也可以被称为是稀疏基，其实就是指的某种正交变换的变换矩阵列向量组成的基。在压缩感知方法中，我们不会直接传输信号$x$，而是传输带有信号$x$信息的低维信号$y$；在接收端接收到信号$y$后，这里需要通过重构算法先得到稀疏信号$\theta$，再通过反变换得到原始信号$x$。

  下面我们要介绍一种重构算法：正交匹配追踪算法。在介绍正交匹配追踪算法之前，我们先来讲讲匹配追踪算法。

  用正交基稀疏表达一个信号也有很多缺点，因为一组基表达信号的能力取决于信号的特征是否与基向量的特征相吻合；例如，光滑连续信号可以被傅里叶基稀疏的表达，但脉冲信号就不行；再如，带有孤立不连续点的平滑信号可以被小波基稀疏表达，但小波基在表达傅里叶频谱中有窄带高频支撑的信号时却是无效的。现实世界中的信号经常包含有用单一基所不能表达的特征。对于这些信号，你或许希望可以选择来自不同基的向量（如用小波基和傅里叶基来联合表达一个信号）。因为你想保证你可以表达一个信号空间的所有信号向量，所以由所有可选向量组成的字典应该能够张成这个信号空间。然而由于这组字典中的向量来自不同的基，它们可能不是线性独立的。由于这组字典中的向量不是线性独立的，会造成用这组字典做信号表达时系数不唯一。然而如果创建一组冗余字典，你就可以把你的信号展开在一组可以适应各种时频或时间—尺度特性的向量上。这样构造的字典可以极大地增加你稀疏表达各种特性信号的能力。

  例如三维空间中有基向量$v_x=(1,0,0)，v_y=(0,1,0)，v_z=(0,0,1)$，三维空间中的任意向量均可由三个基向量唯一表示，如$v_1=(1,2,3)=v_x+2v_y+3v_z$。然而若取三维空间的一组冗余字典$v_a=(1,1,1)，v_b=(1,1,2)，v_c=(2,1,1)，v_d=(1,2,4)$，这时若用这四个向量表示v1则有无穷多种表示方法，如$v_1=2v_a+v_b－v_c$或$v_1=v_a－v_b+v_c$。当然，这个用矩阵的方法理解更容易，第一种情况求系数是三个独立的方程三个未知数，解唯一；第二种情况是三个方程四个未知数，必然有无穷多解。问题来了，既然在冗余字典里信号表达时的系数不唯一，那么是否存在一种最好的表达方式呢？

  定义表达你的信号空间的归一化基本模块作为字典。这些归一化向量叫做原子。如果字典的原子张成了整个信号空间，那么字典就是完全的。如果有原子之间线性相关，那么字典就是冗余的。在大多数匹配追踪的应用中，字典都是完全且冗余的。

  假设   { φ k } \ \{\varphi _{k}\}  {φk​}表示字典的原子。假设字典是完全且冗余的，那么使用字典的线性组合来表达信号的方式也是不唯一的。在下面的公式中，$x$表示原始信号，   { a k } \ \{a_{k}\}  {ak​}表示的就是对   { φ k } \ \{\varphi _{k}\}  {φk​}的一种线性组合，通过对   { φ k } \ \{\varphi _{k}\}  {φk​}的线性组合可以表达原始信号$x$。$$x=\sum _k{a}_k{\phi }_k$$

  既然使用字典表达的方式不唯一，那到底哪种表达方式最好呢？一种直观的最好方式是选择   { φ k } \ \{\varphi _{k}\}  {φk​}使得近似信号和原始信号有最大的内积，如最好的φk满足：$$\underset{k}{\max }\left|⟨x,{\phi }_k⟩\right|$$

  匹配追踪的中心问题是你如何选择信号在字典中最优的M个展开项。

  其中在(3)中的${\phi }_1$应为单位向量，否则$e_0$在${\phi }_1$上的投影为 $\frac{<e_0,{\phi }_1>{\phi }_1}{{\phi }_1^T{\phi }_1}$。匹配追踪算法的缺点是：对已经选择过的原子可能会再次选择。而正交匹配追踪则不会有这种情况。


  最后我们来看正交匹配追踪算法的具体过程：

资料：

【1】形象易懂讲解算法II——压缩感知
【2】压缩感知原理
【3】压缩感知测量矩阵之有限等距性质（Restricted Isometry Property, RIP)
【4】压缩感知测量矩阵之spark常数
【5】稀疏表示与匹配追踪
【6】投影矩阵和最小二乘
【5】正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同
【7】为什么正交匹配追踪(OMP)一定能恢复信号？
【8】施密特(Schimidt)正交化与正交匹配追踪
【9】压缩感知重构算法之正交匹配追踪(OMP)
【10】关于压缩感知这件事
【11】邵文泽，韦志辉.压缩感知基本理论:回顾与展望[J].中国图象图形学报,2012,(1): 1-12
【12】李珅，马彩文，李艳，陈萍.压缩感知重构算法综述[J].红外与激光工程,2013,(1): 225-232