课题要用到压缩感知,越看越觉得坑越大,需要补充的基础知识越来越多。没办法,慢慢学习,慢慢记录吧。第一篇文章解决三个问题:稀疏、范数、argmin。
1、稀疏
关于稀疏信号的定义,这里给出4种形式:严格k稀疏信号,可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号。
(1)严格
k
k
k稀疏信号:考虑一个有限长信号
x
∈
R
n
\boldsymbol{x}\in R_n
x∈Rn,如果
x
\boldsymbol{x}
x至多有
k
k
k个非零元素,即
∥
x
∥
0
⩽
k
\left\| \boldsymbol{x} \right\| _0\leqslant k
∥x∥0⩽k
则称信号
x
\boldsymbol{x}
x为严格
k
k
k稀疏信号。
(2)可压缩信号:如果信号可以用一个 k k k稀疏向量来近似表示,则称这样的信号为可压缩信号。
(3)稀疏基下的稀疏信号:大多数的情况下,信号本身不是稀疏的,但是在某些合适的基或变换下稀疏。
(4)稀疏基下的可压缩信号:给定值 k k k,信号 x \boldsymbol{x} x的最佳近似 k k k项元素的线性组合,称为 x \boldsymbol{x} x的最佳 k k k稀疏近似。
因为如果信号是稀疏的,则它是可压缩的。当然,现实中的信号本身一般并不是稀疏的,但经过一个变换后,在一组基上是稀疏的,这就是信号的稀疏表示。稀疏性是压缩感知的前提。
2、向量范数
向量范数的定义为:
∥
x
∥
p
=
(
∑
i
=
1
N
∣
x
i
∣
p
)
1
/
p
\left\| \boldsymbol{x} \right\| _p=\left( \sum_{i=1}^N{\left| x_i \right|^p} \right) ^{{{1}\Bigg/{p}}}
∥x∥p=(i=1∑N∣xi∣p)1/p
0-范数:向量
x
\boldsymbol{x}
x中非零元素个数;
1-范数:向量
x
\boldsymbol{x}
x中所有元素绝对值之和:
∥
x
∥
1
=
∑
i
=
1
N
∣
x
i
∣
\left\| \boldsymbol{x} \right\| _1=\sum_{i=1}^N{\left| x_i \right|}
∥x∥1=i=1∑N∣xi∣
2-范数:向量
x
\boldsymbol{x}
x的模长:
∥
x
∥
2
=
x
1
2
+
x
2
2
+
⋯
+
x
N
2
\left\| \boldsymbol{x} \right\| _2=\sqrt{{x_1}^2+{x_2}^2+\cdots +{x_N}^2}
∥x∥2=x12+x22+⋯+xN2
无穷范数:向量
x
\boldsymbol{x}
x所有元素的绝对值的最大值:
∥
x
∥
∞
=
max
1
⩽
i
⩽
N
∣
x
i
∣
\left\| \boldsymbol{x} \right\| _{\infty}=\underset{1\leqslant i\leqslant N}{\max}\left| x_i \right|
∥x∥∞=1⩽i⩽Nmax∣xi∣
负无穷范数:向量
x
\boldsymbol{x}
x所有元素的绝对值的最小值:
∥
x
∥
−
∞
=
min
1
⩽
i
⩽
N
∣
x
i
∣
\left\| \boldsymbol{x} \right\| _{-\infty}=\underset{1\leqslant i\leqslant N}{\min}\left| x_i \right|
∥x∥−∞=1⩽i⩽Nmin∣xi∣
3、矩阵范数
1-范数:又称列和范数,矩阵 A A A每一列元素绝对值之和的最大值:
∥
A
∥
1
=
max
1
⩽
j
⩽
N
∑
i
=
1
N
∣
a
i
j
∣
\left\| A \right\| _1=\max_{1\leqslant j\leqslant N} \sum_{i=1}^N{\left| a_{ij} \right|}
∥A∥1=1⩽j⩽Nmaxi=1∑N∣aij∣
无穷范数:又称行和范数,矩阵
A
A
A每一行元素绝对值之和的最大值:
∥
A
∥
∞
=
max
1
⩽
i
⩽
M
∑
j
=
1
N
∣
a
i
j
∣
\left\| A \right\| _{\infty}=\max_{1\leqslant i\leqslant M} \sum_{j=1}^N{\left| a_{ij} \right|}
∥A∥∞=1⩽i⩽Mmaxj=1∑N∣aij∣
2-范数:又称谱范数:
∥
A
∥
2
=
λ
max
(
A
T
A
)
\left\| A \right\| _2=\sqrt{\lambda _{\max}\left( A^TA \right)}
∥A∥2=λmax(ATA)
F-范数:矩阵
A
A
A中所有元素平方和和算数平方根:
∥
A
∥
F
=
∑
i
=
1
M
∑
j
=
1
N
∣
a
i
j
∣
2
\left\| A \right\| _F=\sqrt{\sum_{i=1}^M{\sum_{j=1}^N{\left| a_{ij} \right|^2}}}
∥A∥F=i=1∑Mj=1∑N∣aij∣2
F-范数的意义:使矩阵的每个元素分量接近于0。如果约束的是误差,就是使误差最小;如果约束的是拟合系数,则是使系数不容易过拟合。
4、argmin函数
argmin
:使目标函数取最小值时的变量值;
argmax
:使目标函数取最大值时的变量值。
【例1】
a
r
g
max
x
(
1
−
∣
x
∣
)
=
0
\underset{x}{arg\max}\left( 1-\left| x \right| \right) =0
xargmax(1−∣x∣)=0
【例2】
a
r
g
max
x
∈
R
(
x
(
10
−
x
)
)
=
5
\underset{x\in \mathbb{R}}{arg\max}\left( x\left( 10-x \right) \right) =5
x∈Rargmax(x(10−x))=5
【例3】
a
r
g
max
x
∈
[
0
,
4
π
]
cos
x
=
{
0
,
2
π
,
4
π
}
\underset{x\in \left[ 0,4\pi \right]}{arg\max}\cos x=\left\{ 0,2\pi ,4\pi \right\}
x∈[0,4π]argmaxcosx={0,2π,4π}
5、压缩感知的数学描述
有了上述基础的数学知识,便可看懂压缩感知的数学描述:
x
^
=
a
r
g
min
∥
x
∥
0
s
.
t
.
y
=
Φ
x
\hat{\boldsymbol{x}}=arg\min \left\| \boldsymbol{x} \right\| _0\,\,\boldsymbol{s}.\boldsymbol{t}. \boldsymbol{y}=\varPhi \boldsymbol{x}
x^=argmin∥x∥0s.t.y=Φx
x ^ = a r g min ∥ x ∥ 1 s . t . y = Φ x \hat{\boldsymbol{x}}=arg\min \left\| \boldsymbol{x} \right\| _1\,\,\boldsymbol{s}.\boldsymbol{t}. \boldsymbol{y}=\varPhi \boldsymbol{x} x^=argmin∥x∥1s.t.y=Φx
或者:
min
∥
Ψ
T
X
∥
0
s
.
t
.
Φ
Ψ
T
X
=
Y
\min \left\| \boldsymbol{\varPsi }^T\boldsymbol{X} \right\| _0\,\, \boldsymbol{s}.\boldsymbol{t}. \boldsymbol{\varPhi \varPsi }^T\boldsymbol{X}=\boldsymbol{Y}
min
ΨTX
0s.t.ΦΨTX=Y
min
∥
Ψ
T
X
∥
1
s
.
t
.
Φ
Ψ
T
X
=
Y
\min \left\| \boldsymbol{\varPsi }^T\boldsymbol{X} \right\| _1\,\, \boldsymbol{s}.\boldsymbol{t}. \boldsymbol{\varPhi \varPsi }^T\boldsymbol{X}=\boldsymbol{Y}
min
ΨTX
1s.t.ΦΨTX=Y
不管是用min
还是argmin
,其实表达的意思都是一样的:
如果使用0-范数,表示求得满足后面约束条件的最稀疏的
x
\boldsymbol{x}
x;
如果使用1-范数,表示求得满足后面约束条件的元素模值和最小的
x
\boldsymbol{x}
x;
使用0-范数求解是一个NP难问题,在实际应用中,一般使用1-范数进行求解。两种求法在满足一定条件下(R.I.P
)是等价的。