共轭函数
共轭函数的定义:
设函数
f:Rn→R
f
:
R
n
→
R
,定义函数
f∗:Rn→R
f
∗
:
R
n
→
R
为:
此函数称为函数 f f 的共轭函数。即函数和函数 f(x) f ( x ) 之间差值的上确界。
如下图,两条虚线平行,函数 f1(x)=yx f 1 ( x ) = y x 是通过原点的一条直线,y是常数。下面的虚线交点
(0,−f∗(y)) ( 0 , − f ∗ ( y ) ) ,即是两条平行线之间的y方向上的距离,即差值。
对偶范数
范数的对偶还是范数。
定义:
令
||⋅||
|
|
⋅
|
|
是
Rn
R
n
上 的范数。对应的对偶范数,用
||⋅||
|
|
⋅
|
|
表示,定义为:
也可以写成:
因为范数具有非负性,因此我们也可以写成:
左图表示 l2 l 2 范数对偶的示意图,很容易理解,当向量 z z 和同方向时,两个向量的内积最大,即
zTx=<z,x>=|z||x|⋅cosθ=|z|=||z||2 z T x =< z , x >= | z | | x | ⋅ c o s θ = | z | = | | z | | 2
右图表示
l1
l
1
范数对偶的示意图,当向量
z
z
在实线位置,两个向量的内积最大时,向量取
(1,0)
(
1
,
0
)
(对于二维情况).则:
zTx=<z,x>=|z||x|⋅cosθ=|z|⋅cosθ=z1
z
T
x
=<
z
,
x
>=
|
z
|
|
x
|
⋅
c
o
s
θ
=
|
z
|
⋅
c
o
s
θ
=
z
1
当向量
z
z
在虚线位置时:
故:
zTx=max(z1,z2)=||z||∞
z
T
x
=
m
a
x
(
z
1
,
z
2
)
=
|
|
z
|
|
∞
即:
l2
l
2
范数的对偶范数还是
l2
l
2
范数,
l1
l
1
的对偶范数是
l∞
l
∞
范数 ;
即满足:如果
lp
l
p
核
lq
l
q
互为对偶范数,那么:
范数的共轭函数
令
||⋅||
|
|
⋅
|
|
表示
Rn
R
n
上的范数,其对偶范数为
||⋅||∗
|
|
⋅
|
|
∗
,那么函数
f(x)=||x||
f
(
x
)
=
|
|
x
|
|
的共轭函数为:
即范数的共轭函数是对偶范数的单位球的示性函数,即范数定义的单位球内值为0,在单位球外值为无穷大。对于损失函数来说,在单位球内损失函数为0,相当于一个ball约束,而在单位球外会导致损失函数无穷大,是不可取的。
证明:对于上左图,即对于
l2
l
2
范数的对偶,如果
||y||∗>1
|
|
y
|
|
∗
>
1
,根据对偶范数的定义,存在
z∈Rn,||z||≤1
z
∈
R
n
,
|
|
z
|
|
≤
1
,使得
yTz>1
y
T
z
>
1
。(这里的
y
y
对应上图的,而
z
z
对应,从图中可以看到
||z||≤1
|
|
z
|
|
≤
1
即表示单位球形区域,要使得
||y||∗>1
|
|
y
|
|
∗
>
1
,则一定满足
||y||>1
|
|
y
|
|
>
1
,一个大于1一个小于1,很自然存在
y,z
y
,
z
,满足
yTz>1
y
T
z
>
1
)。取
x=tz
x
=
t
z
,并令
t→∞
t
→
∞
,可得:
即 f∗(y)=∞ f ∗ ( y ) = ∞ ,没有上界。反之,若 ||y||∗≤1 | | y | | ∗ ≤ 1 ,对于任意的 x x ,有,即对任意 x x ,y^Tx-||x|| \leq 0x=0 处,函数 处 , 函 数 y^Tx-||x||$达到最大值0.
可以通过下面的图进行一维情况的简单描述:
当 y>1 y > 1 时,即直线的斜率大于1时,则两个函数的差值为 ∞ ∞ ,两个函数都延伸到无穷远。当 y≤1 y ≤ 1 ,函数 f1(x) f 1 ( x ) 在函数 f2(x) f 2 ( x ) 的下面,并且相交,因此最大y方向上的距离为0. 对于 y<−1 y < − 1 和 y≥−1 y ≥ − 1 具有类似的结论。
范数的平方的共轭函数:
函数:
其共轭函数为:
参考文献:
1 Convex Optimization_Stephen Boyd.pdf
2. 摘自:凸优化_王书宁译, 第三章 凸函数, 第3.3小节共轭函数的例3.26(102页)。