压缩感知（一）：数学基础（稀疏、范数、符号argmin）

课题要用到压缩感知，越看越觉得坑越大，需要补充的基础知识越来越多。没办法，慢慢学习，慢慢记录吧。第一篇文章解决三个问题：稀疏、范数、argmin。

1、稀疏

关于稀疏信号的定义，这里给出4种形式：严格k稀疏信号，可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号。

（1）严格$k$稀疏信号：考虑一个有限长信号$\mathbf{x}\in R_n$，如果$\mathbf{x}$至多有$k$个非零元素，即$${\Vert \mathbf{x}\Vert }_0⩽k$$
则称信号$\mathbf{x}$为严格$k$稀疏信号。

（2）可压缩信号：如果信号可以用一个$k$稀疏向量来近似表示，则称这样的信号为可压缩信号。

（3）稀疏基下的稀疏信号：大多数的情况下，信号本身不是稀疏的，但是在某些合适的基或变换下稀疏。

（4）稀疏基下的可压缩信号：给定值$k$，信号$\mathbf{x}$的最佳近似$k$项元素的线性组合，称为$\mathbf{x}$的最佳$k$稀疏近似。

因为如果信号是稀疏的，则它是可压缩的。当然，现实中的信号本身一般并不是稀疏的，但经过一个变换后，在一组基上是稀疏的，这就是信号的稀疏表示。稀疏性是压缩感知的前提。

2、向量范数

向量范数的定义为：
$${\Vert \mathbf{x}\Vert }_p={\left(\sum _{i=1}^N{\left|x_i\right|}^p\right)}^{1/p}$$
0-范数：向量$\mathbf{x}$中非零元素个数；
1-范数：向量$\mathbf{x}$中所有元素绝对值之和：
$${\Vert \mathbf{x}\Vert }_1=\sum _{i=1}^N\left|x_i\right|$$

2-范数：向量$\mathbf{x}$的模长：
$${\Vert \mathbf{x}\Vert }_2=\sqrt{{x_1}^2+{x_2}^2+\cdots +{x_N}^2}$$
无穷范数：向量$\mathbf{x}$所有元素的绝对值的最大值：
$${\Vert \mathbf{x}\Vert }_{\infty }=\underset{1⩽i⩽N}{\max }\left|x_i\right|$$

负无穷范数：向量$\mathbf{x}$所有元素的绝对值的最小值：
$${\Vert \mathbf{x}\Vert }_{-\infty }=\underset{1⩽i⩽N}{\min }\left|x_i\right|$$

3、矩阵范数

1-范数：又称列和范数，矩阵$A$每一列元素绝对值之和的最大值：

$${\Vert A\Vert }_1=\underset{1⩽j⩽N}{\max }\sum _{i=1}^N\left|a_{ij}\right|$$
无穷范数：又称行和范数，矩阵$A$每一行元素绝对值之和的最大值：
$${\Vert A\Vert }_{\infty }=\underset{1⩽i⩽M}{\max }\sum _{j=1}^N\left|a_{ij}\right|$$
2-范数：又称谱范数：$${\Vert A\Vert }_2=\sqrt{{\lambda }_{\max }\left(A^{T}A\right)}$$
F-范数：矩阵$A$中所有元素平方和和算数平方根：
$${\Vert A\Vert }_F=\sqrt{\sum _{i=1}^M\sum _{j=1}^N{\left|a_{ij}\right|}^2}$$
F-范数的意义：使矩阵的每个元素分量接近于0。如果约束的是误差，就是使误差最小；如果约束的是拟合系数，则是使系数不容易过拟合。

4、argmin函数

argmin：使目标函数取最小值时的变量值；
argmax：使目标函数取最大值时的变量值。
【例1】$\underset{x}{\mathrm{argmax}}\left(1-\left|x\right|\right)=0$
【例2】$\underset{x\in \mathbb{R}}{\mathrm{argmax}}\left(x\left(10-x\right)\right)=5$
【例3】 a r g max ⁡ x ∈ [ 0 , 4 π ] cos ⁡ x = { 0 , 2 π , 4 π } \underset{x\in \left[ 0,4\pi \right]}{arg\max}\cos x=\left\{ 0,2\pi ,4\pi \right\} x∈[0,4π]argmax​cosx={0,2π,4π}

5、压缩感知的数学描述

有了上述基础的数学知识，便可看懂压缩感知的数学描述：
$\hat{\mathbf{x}}=arg\min {\Vert \mathbf{x}\Vert }_0\mathbf{s}.\mathbf{t}.\mathbf{y}=\Phi \mathbf{x}$

$\hat{\mathbf{x}}=arg\min {\Vert \mathbf{x}\Vert }_1\mathbf{s}.\mathbf{t}.\mathbf{y}=\Phi \mathbf{x}$

或者：
$\min {\Vert {\Psi }^T\mathbf{X}\Vert }_0\mathbf{s}.\mathbf{t}.{\Phi \Psi }^T\mathbf{X}=\mathbf{Y}$

$\min {\Vert {\Psi }^T\mathbf{X}\Vert }_1\mathbf{s}.\mathbf{t}.{\Phi \Psi }^T\mathbf{X}=\mathbf{Y}$
不管是用min还是argmin，其实表达的意思都是一样的：
如果使用0-范数，表示求得满足后面约束条件的最稀疏的$\mathbf{x}$；
如果使用1-范数，表示求得满足后面约束条件的元素模值和最小的$\mathbf{x}$；
使用0-范数求解是一个NP难问题，在实际应用中，一般使用1-范数进行求解。两种求法在满足一定条件下(R.I.P)是等价的。