对于《欠定线性系统与正则化》一节中的优化问题:
( P J ) : min x J ( x ) s . t . b = A x (P_J):\min \limits_{\bf x} J({\bf x})\quad {\rm s.t.} \quad{\bf b=Ax} (PJ):xminJ(x)s.t.b=Ax
只要 J ( ⋅ ) J(\cdot) J(⋅)为严格凸的函数,都能保证只有唯一解, l 2 {\mathcal l}_2 l2能够带来唯一解就是其中的一个例子。
1、凸集
【定义1】对于集合 Ω \Omega Ω, ∀ x 1 , x 2 ∈ Ω \forall {\bf x}_1,{\bf x}_2\in \Omega ∀x1,x2∈Ω以及 ∀ t ∈ [ 0 , 1 ] \forall t\in[0,1] ∀t∈[0,1],若凸组合
x = t x 1 + ( 1 − t ) x 2 {\bf x}=t{\bf x}_1+(1-t){\bf x}_2 x=tx1+(1−t)x2也在 Ω \Omega Ω中,则 Ω \Omega Ω为凸集。
显然,图1中的(a)为凸集,而(b)为凹集。
图1 凸集的定义
下面我们用定义1来看看
A
x
=
b
{\bf Ax=b}
Ax=b的解集的凸性。设
Ω
=
{
x
∣
A
x
=
b
}
\Omega=\{{\bf x}|\bf Ax=b\}
Ω={x∣Ax=b},由
A
x
=
b
\bf Ax=b
Ax=b,可得
x
=
(
A
T
A
)
−
1
A
T
b
\bf x=(A^{\rm T}A)^{-1}A^{\rm T}b
x=(ATA)−1ATb。显然,
x
=
t
x
1
+
(
1
−
t
)
x
2
=
(
A
T
A
)
−
1
A
T
b
∈
Ω
{\bf x}=t{\bf x}_1+(1-t){\bf x}_2=\bf (A^{\rm T}A)^{-1}A^{\rm T}b\in \Omega
x=tx1+(1−t)x2=(ATA)−1ATb∈Ω因此
A
x
=
b
{\bf Ax=b}
Ax=b的解集
Ω
\Omega
Ω为凸集。
为了保证优化问题总体上是凸的,我们还必须保证惩罚函数
J
(
x
)
J(\bf x)
J(x)也是凸的。所以我们先来看看凸函数的定义。
2、凸函数
【定义2】若函数 J ( x ) : Ω → R J(\bf x):\Omega\rightarrow{\mathbb R} J(x):Ω→R为凸的,则 ∀ x 1 , x 2 ∈ Ω \forall{\bf x}_1,{\bf x}_2\in \Omega ∀x1,x2∈Ω且 ∀ t ∈ [ 0 , 1 ] \forall t\in[0,1] ∀t∈[0,1],凸组合点 x = t x 1 + ( 1 − t ) x 2 {\bf x}=t{\bf x}_1+(1-t){\bf x}_2 x=tx1+(1−t)x2满足
J ( t x 1 + ( 1 − t ) x 2 ) ≤ t J ( x 1 ) + ( 1 − t ) J ( x 2 ) . J( t{\bf x}_1+(1-t){\bf x}_2)\le tJ({\bf x}_1)+(1-t)J({\bf x}_2). J(tx1+(1−t)x2)≤tJ(x1)+(1−t)J(x2).
图2给出了凸函数的定义,从图中可以看出,当
t
t
t在0到1之间变化时,
x
\bf x
x在
x
1
\bf x_1
x1和
x
2
\bf x_2
x2之间变化,而
J
(
t
x
1
+
(
1
−
t
)
x
2
)
J( t{\bf x}_1+(1-t){\bf x}_2)
J(tx1+(1−t)x2)为函数
J
(
x
)
J({\bf x})
J(x)上的点,它始终小于
(
x
1
,
J
(
x
1
)
)
({\bf x}_1,J({\bf x}_1))
(x1,J(x1))和
(
x
2
,
J
(
x
2
)
)
({\bf x}_2,J({\bf x}_2))
(x2,J(x2))两点连线上的点:
t
J
(
x
1
)
+
(
1
−
t
)
J
(
x
2
)
tJ({\bf x}_1)+(1-t)J({\bf x}_2)
tJ(x1)+(1−t)J(x2)。
图2 凸函数的定义
进一步,我们在《凸函数成立的一阶与二阶条件》一文中给出了凸函数成立的两个充要条件。利用二阶条件,即凸函数的Hessian阵半正定,我们知道 ℓ 2 \ell_2 ℓ2-范数的平方是凸的,因为 ▽ 2 ∣ ∣ x ∣ ∣ 2 2 = 2 I \triangledown^2||{\bf x}||_2^2=2{\bf I} ▽2∣∣x∣∣22=2I。事实上,由于对于任意的 x {\bf x} x, ℓ 2 \ell_2 ℓ2-范数的平方的Hessian阵都是严格正定的,因此它是严格凸的,也就可以得到唯一解。
【参考文献】
[1] Michael Lead, Sparse and Redundant Representations, From Theory to Applications in Signal and Image Processing.
ps: ℓ \ell ℓ用来作为 l l l的花体很好看呀,输入\ell就OK啦。