拉格朗日对偶性Duality and the Lagrangian

利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。

原始问题
考虑原始问题：
假设$f(x)$、$c_i(x)$、$h_j(x)$是定义在${\mathbf{R}}^n$上的连续可微函数，考虑约束最优化问题
$$\begin{array}{rl}\underset{x\in {\mathbf{R}}^n}{\min }& f(x)\\ s.t.& c_i(x)\le 0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}$$

首先，我们引入广义拉格朗日函数(generalized Lagrange function)
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

其中$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T\in {\mathbf{R}}^n$，${\alpha }_i\ge 0,{\beta }_j$是拉格朗日乘子。考虑$x$的函数：
$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
下标P表示原始问题。

假设给定某个$x$，如果$x$违反原始问题的约束条件，即存在某个$i$使得$c_i(w)>0$或者存在某个$j$使得$h_j(w)\ne 0$，则有
$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\left[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\right]=+\infty$$
因为某个$i$使得约束$c_i(x)>0$，故我令${\alpha }_i\to +\infty$，则可得到上式；同理，若某个$j$使得约束$h_j(x)\ne 0$，则令${\beta }_j{h}_j(x)\to +\infty$，也可得到上式。
相反地，如果约束条件均满足，则${\theta }_P(x)=f(x)$，因此
$${\theta }_P(x)=\{\begin{array}{ll}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}$$
所以考虑极小化问题
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
它与原始问题是等价的，即具有相同的解，我们把问题$\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$称为广义拉格朗日函数的极小极大问题，这样以来就将原始问题转化为广义拉格朗日函数的极小极大问题。
对偶问题
定义
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$

再考虑极大化${\theta }_D(\alpha ,\beta )$
$$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$

该问题称为广义拉格朗日问题的极大极小问题。

可以将广义拉格朗日的极大极小问题表示为约束最优化问题：
$$\begin{array}{rl}\underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=& \underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\\ s.t.& {\alpha }_i\ge 0,i=1,2,\cdots ,k\end{array}$$

称为原始问题的对偶问题。

原始问题与对偶问题的关系

Theorem1. 若原始问题和对偶问题都有最优值，则
$$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$

Proof.
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )\le L(x,\alpha ,\beta )\le \underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )={\theta }_P(x)$$

则
$${\theta }_D(\alpha ,\beta )\le {\theta }_P(x)$$
由于原始问题和对偶问题均有最优值，则
$$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )\le \underset{x}{\min }{\theta }_P(x)$$

故$d^{\ast }\le p^{\ast }$
换句话说，对偶问题的最优值小于等于原问题的最优值。

Corollary 1. 设$x^{\ast }$ 和${\alpha }^{\ast }$ ，${\beta }^{\ast }$分别表示原始问题和对偶问题的可行解，并且$d^{\ast }=p^{\ast }$，则$x^{\ast }$ 和${\alpha }^{\ast }$ ，${\beta }^{\ast }$分别是原始问题和对偶问题的最优解。

在这种条件下，原始问题和对偶问题的最优值相等，这时可以用解对偶问题代替解原始问题。

Theorem 2. 考虑原始问题和对偶问题。假设函数$f(x)$ 和$c_i(x)$是凸函数，$h_j(x)$是仿射函数；假设不等式约束$c_i(x)$ 是严格可行的，即存在$x$，对所有的$i$有$c_i(x)<0$，则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使得$x^{\ast }$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$

Theorem 3. 对原始问题和对偶问题，假设函数 $f(x)$ 和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$ 是严格可行的，则$x^{\ast }$和 ${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足Karush-kuhn-Tucker(KKT)条件：
$$\begin{array}{r}{\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0\\ {\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0\\ {\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0\\ {\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,\cdots ,k\\ c_i(x^{\ast })\le 0,i=1,2,\cdots ,k\\ {\alpha }_i^{\ast }\ge 0,i=1,2,\cdots ,k\\ h_i(x^{\ast })=0\end{array}$$

特别指出，${\alpha }_i^{\ast }{c}_i(x^{\ast })=0$称为KKT的对偶互补条件，此条件可知: 若${\alpha }^{\ast }>0$，则$c_i(x^{\ast })=0$。