弱对偶理论与极大极小不等式的证明

弱对偶理论与极大极小不等式及其证明

$\quad这个问题是我最近看凸优化理论时遇到的，是关于强弱对偶性的极大极小描述，$$我先给出相关背景，然后再给出不等式的证明。$
$为了简化问题，我们假设没有等式约束；事实上可以很容易的扩展至有等式约束的情形。$

$$minimize \quad f_0(x)$$ $$subject\ to\quad f_i(x)\le0,\quad i=1,\cdots,m$$
$将其转化为Lagrange对偶问题，我们注意到$ $$\sup_{\lambda\succeq0}L(x,\lambda)=\sup_{\lambda\succeq0}(f_0(x)+\sum_{i=1}^m\lambda_if_i(x)$$ $$\begin{equation} \left\{ \begin{aligned} f_0(x)&\quad f_i(x)\le0,\quad i=1,\cdots,m\\ \infty&\quad其它情况\\ \end{aligned} \right. \end{equation}$$ $这意味着我们可以将原问题的最优值写成如下形式$ $$p*=\inf_x\sup_{\lambda \succeq0}L(x,\lambda)$$ $根据对偶函数的定义，有$ $$d^*=\sup_{\lambda\succeq0}\ \inf_xL(x,\lambda).$$ $因此弱对偶不等式可以表述为下述不等式$ $$\begin{align}\sup_{\lambda\succeq0}\inf_xL(x,\lambda)\le\inf_x\sup_{\lambda\succeq0}L(x,\lambda) \end{align}$$ $强对偶性可以表示为$ $$\sup_{\lambda\succeq0}\inf_xL(x,\lambda)=\inf_x\sup_{\lambda\succeq0}L(x,\lambda)$$ $强对偶性意味着对x求极小和对\lambda \succeq0求极大介意互换而不影响结果。$

我们终于要引出我们的重点了

$\quad上述弱不等式是否成立和L的性质无关：对于任意f:R^n\times R^m\rightarrow R(以及任意W\subseteq R^n和$$Z\subseteq R^m),下式成立$

$$\sup_{z\in Z}\inf_{w\in W}f(w,z)\le\inf_{w\in W}\sup_{z\in Z}f(w,z).$$
$这个一般性的等式称为极大极小不等式。若等式成立，即$ $$\sup_{z\in Z}\inf_{w\in W}f(w,z)=\inf_{w\in W}\sup_{z\in Z}f(w,z).$$ $我们称f满足强极大极小性质或者鞍点性质。那么该不等式应该如何证明呢？楼主在$ 这个 $网站上找到了详细的证明，但是发现太繁琐，而且不是主要证明这个不等式$

$下面我们就来证明：$

$\quad对于每个固定的\hat x\in X和所有y\in Y，有$

$$\inf_{x\in X}f(x,y)\le f(\hat x,y),$$ $因此$ $$\sup_{y\in Y}\inf_{x\in X}\le\sup_{y\in Y}f(\hat x,y).$$
$由于这个不等式对于每个\hat x\in X都成立，必有$ $$\sup_{y\in Y}\inf_{x\in X}f(x,y)\le \inf_{x\in X}\sup_{y\in Y}f(x,y),$$ $容易找到使不等式严格成立的例子如 f(x,y)=x^2+y^2,x,y\in R$
$\quad 三五行就完成了,楼主花了好久才找到证明方法，不知道读者你们是不是会证明呢？这是极大极小问题，$
$\quad个人认为这方面的东西是很有价值的。举个例子：$
$考虑二人对策，局中人1做出选择（或者移动）k\in \{1,\cdots,n\},局中人2在l\in \{1,\cdots,m\}中做出选择。$ $然后局中人1支付给局中人2 \ P_{kl},其中P\in R^{n\times m}是对策的支付矩阵$, $局中人1的目标是支付额越少越好，而局中人2的目标是极大化支付额。$
$\quad这里有个很有意思的结论：如果采取混合策略，无论局中人1知道局中人2的策略，还是局中人2知道局$ $中人1的策略，支付额没有变化。这个问题楼主以后和大家一起分析。$
$\quad谢谢阅读，如有纰漏，请不吝指出。$