弱对偶理论与极大极小不等式及其证明
这个问题是我最近看凸优化理论时遇到的,是关于强弱对偶性的极大极小描述,
我先给出相关背景,然后再给出不等式的证明。
为了简化问题,我们假设没有等式约束;事实上可以很容易的扩展至有等式约束的情形。
minimizef0(x)
subject tofi(x)≤0,i=1,⋯,m
将其转化为Lagrange对偶问题,我们注意到
supλ⪰0L(x,λ)=supλ⪰0(f0(x)+∑i=1mλifi(x)
{f0(x)∞fi(x)≤0,i=1,⋯,m其它情况
这意味着我们可以将原问题的最优值写成如下形式
p∗=infxsupλ⪰0L(x,λ)
根据对偶函数的定义,有
d∗=supλ⪰0 infxL(x,λ).
因此弱对偶不等式可以表述为下述不等式
supλ⪰0infxL(x,λ)≤infxsupλ⪰0L(x,λ)
强对偶性可以表示为
supλ⪰0infxL(x,λ)=infxsupλ⪰0L(x,λ)
强对偶性意味着对x求极小和对λ⪰0求极大介意互换而不影响结果。
我们终于要引出我们的重点了
上述弱不等式是否成立和L的性质无关:对于任意f:Rn×Rm→R(以及任意W⊆Rn和 Z⊆Rm),下式成立
supz∈Zinfw∈Wf(w,z)≤infw∈Wsupz∈Zf(w,z).
这个一般性的等式称为极大极小不等式。若等式成立,即
supz∈Zinfw∈Wf(w,z)=infw∈Wsupz∈Zf(w,z).
我们称f满足强极大极小性质或者鞍点性质。那么该不等式应该如何证明呢?楼主在
这个
网站上找到了详细的证明,但是发现太繁琐,而且不是主要证明这个不等式
下面我们就来证明:
对于每个固定的x^∈X和所有y∈Y,有
infx∈Xf(x,y)≤f(x^,y),
因此
supy∈Yinfx∈X≤supy∈Yf(x^,y).
由于这个不等式对于每个x^∈X都成立,必有
supy∈Yinfx∈Xf(x,y)≤infx∈Xsupy∈Yf(x,y),
容易找到使不等式严格成立的例子如f(x,y)=x2+y2,x,y∈R
三五行就完成了,楼主花了好久才找到证明方法,不知道读者你们是不是会证明呢?这是极大极小问题,
个人认为这方面的东西是很有价值的。举个例子:
考虑二人对策,局中人1做出选择(或者移动)k∈{1,⋯,n},局中人2在l∈{1,⋯,m}中做出选择。 然后局中人1支付给局中人2 Pkl,其中P∈Rn×m是对策的支付矩阵 , 局中人1的目标是支付额越少越好,而局中人2的目标是极大化支付额。
这里有个很有意思的结论:如果采取混合策略,无论局中人1知道局中人2的策略,还是局中人2知道局 中人1的策略,支付额没有变化。这个问题楼主以后和大家一起分析。
谢谢阅读,如有纰漏,请不吝指出。