压缩感知基础概念

在工程领域问题一般都是线性问题。
压缩感知兴起于逆问题理论。逆问题的任务是由已知的部分结果确定模型或者反求原因。关于线性模型的逆问题一般可转换为求解线性系统，其中欠定线性系统的求解最具有难度。压缩感知理论为欠定线性系统的求解提供了新思路。

一、什么是欠定线性系统？

众所周知，1个方程解1个未知数，2个方程解2个未知数，这是我们平时接触较多的求解线性系统的情况，大佬们称之为适定系统。
那如果，一个方程有两个未知数呢？这种情况就是欠定系统了。
在压缩感知理论中，一般用下列式子来表示一个欠定系统：
$$y=AX.$$
其中，$\text{A}\in {\mathbb{R}}^{M\times N}.X\in {\mathbb{R}}^M,.\text{y}\in {\mathbb{R}}^{\text{N}}.$
当$M<N$时，系统为欠定系统。
对于欠定线性系统来说，存在无穷多解，但在某些条件下能够从观测信号y中重构原始信号x，即获得唯一解。

二、稀疏性

定义：大多数信道系数的能量较小,而几个能量较大的抽头分布相隔较远。

$y=AX$是一个欠定系统，它具有无穷多个解，利用x的稀疏性即可将欠定系统变为一个适定系统。
在上述欠定系统中，仅有$X$有未知数，此是$X$有N个未知数，但$Y$有M个，且$M<N$，即有M个方程组（约束条件）求解N个未知数，（排除无解的情况）结果必然是有无穷个解。

我们假设$X$中有$s$个非零的未知数，当然$0<s<N$，其余都为0，此是$X$中真正的未知量应该是$X$中$s$个非零未知数的值以及这些非零未知数的位置，因此一共$2s$个未知数。当$X$非常稀疏时，即$2s⩽N,$，我们再返回来看这个欠定系统，$2s$个未知数，$N$个方程，且$2s⩽N,$那么这个欠定系统是不是就变成了适定甚至是超定系统，因此就可以进行求解。但需要注意的是求解位置要比求解值难得多。

为了解决上述问题，大佬们用这样一个优化问题来表示：
$$\begin{gathered} (P_J):\min J(x) \\ s.t.y=AX \end{gathered}$$
其中$J(x)$一般用范数表示。
根据拉格朗日乘子法可知优化问题有如下解：
$$x=A^T(A{A}^T{)}^{-1}y$$

三、稀疏重构

$$\begin{gathered} (P_J):\min J(x)=||x|{|}_p \\ s.t.y=AX \end{gathered}$$
上式即稀疏重构数学模型。

对于${\ell }_p$
$$||x||{}_p=\sqrt[p]{{{\sum }_i|x_i|}^p}$$
范数能够描述向量的稀疏性，当$p\to 0$时，${\ell }_p$的值约趋近于$X$中非零元素的个数。但考虑$0^0$没有意义，因此一般把对于${\ell }_0$的优化问题转变为对于${\ell }_1$的优化问题。
考虑到在实际应用中会出现噪声干扰等情况，一般约束条件可表示为
$$||y-AX|{|}_p⩽\epsilon$$

四、可重构条件

若要信号可被重构，则测量矩阵需要满足RIP（约束等距性质）
对于测量矩阵$A$满足：
$$(1-{\delta }_K)||x|{|}_2^2⩽||Ax|{|}_2^2⩽(1+{\delta }_K)||x|{|}_2^2$$其中，$0<{\delta }_K<1$.
则认为系统满足可重构条件。
目前理论分析和实际应用中的测量矩阵分为随机矩阵、确定性矩阵和结构性矩阵三种。