共轭函数
共轭函数的定义:
设函数
f:Rn→R
,定义函数
f∗:Rn→R
为:
此函数称为函数 f 的共轭函数。即函数 yx 和函数 f(x) 之间差值的上确界。
如下图,两条虚线平行,函数 f1(x)=yx 是通过原点的一条直线,y是常数。下面的虚线交点
(0,−f∗(y)) ,即是两条平行线之间的y方向上的距离,即差值。
对偶范数
范数的对偶还是范数。
定义:
令
||⋅||
是
Rn
上 的范数。对应的对偶范数,用
||⋅||
表示,定义为:
也可以写成:
因为范数具有非负性,因此我们也可以写成:
左图表示 l2 范数对偶的示意图,很容易理解,当向量 z 和 z 同方向时,两个向量的内积最大,即
zTx=<z,x>=|z||x|⋅cosθ=|z|=||z||2
右图表示
l1
范数对偶的示意图,当向量
z
在实线位置,两个向量的内积最大时,向量
x
取
(1,0)
(对于二维情况).则:
zTx=<z,x>=|z||x|⋅cosθ=|z|⋅cosθ=z1
当向量
z
在虚线位置时:
zTx=<z,x>=|z||x|⋅cosθ=|z|⋅cosθ=z2
故:
zTx=max(z1,z2)=||z||∞
范数的共轭函数
令
||⋅||
表示
Rn
上的范数,其对偶范数为
||⋅||∗
,那么函数
f(x)=||x||
的共轭函数为:
即范数的共轭函数是对偶范数的单位球的示性函数,即范数定义的单位球内值为0,在单位球外值为无穷大。对于损失函数来说,在单位球内损失函数为0,相当于一个ball约束,而在单位球外会导致损失函数无穷大,是不可取的。
证明:对于上左图,即对于
l2
范数的对偶,如果
||y||∗>1
,根据对偶范数的定义,存在
z∈Rn,||z||≤1
,使得
yTz>1
。(这里的
y
对应上图的
z
,而
z
对应
x
,从图中可以看淡
||z||≤1
即表示单位球形区域,要使得
||y||∗>1
,则一定满足
||y||>1
,一个大于1一个小于1,很自然存在
y,z
,满足
yTz>1
)。取
x=tz
,并令
t→∞
,可得:
即 f∗(y)=∞ ,没有上界。反之,若 ||y||∗≤1 ,对于任意的 x ,有 yT≤||x||y||∗ ,即对任意 x ,即对任意的 x,yTx−||x||≤0 。因此, x=0 处,函数 yTx−||x|| 达到最大值0.
可以通过下面的图进行一维情况的简单描述:
当 y>1 时,即直线的斜率大于1时,则两个函数的差值为 ∞ ,两个函数都延伸到无穷远。当 y≤1 ,函数 f1(x) 在函数 f2(x) 的下面,并且相交,因此最大y方向上的距离为0. 对于 y<−1 和 y≥−1 具有类似的结论。
范数的平方的共轭函数:
函数:
其共轭函数为:
参考文献:
1 Convex Optimization_Stephen Boyd.pdf