拉格朗日对偶性

拉格朗日对偶性

该方法是用于解决约束最优化问题的常用方法。

1.原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$升的连续可微函数：
$$\begin{array}{rl}& \underset{x\in R_n}{\min }f(x)\\ s.t.& c_i(x)\le 0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}\text{\hspace{1em}(1)}$$
上式我们称之为原始问题。
为了解决以上问题我们引入广义的拉个朗日函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\text{\hspace{1em}(2)}$$
$x\in R^n,{\alpha }_i和{\beta }_j$是拉格朗日系数，${\alpha }_i\ge 0$。这样可以得到关于x的函数：
$${\theta }_P(x)=\underset{\alpha ,\beta :\alpha \ge 0}{\max }L(x,\alpha ,\beta )\text{\hspace{1em}(3)}$$
下标P代表原问题。很显然上式的值为：
$${\theta }_P(x)=\{\begin{array}{ll}f(x),& \text{x满足原始问题约束条件}\\ +\infty ,& \text{其他}\end{array}\text{\hspace{1em}(4)}$$
所以原始问题等价于：
$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :\alpha \ge 0}{\max }L(x,\alpha ,\beta )\text{\hspace{1em}(5)}$$
我们称之为拉格朗日函数的极小极大问题。

2.对偶问题

原始问题的对偶问题定义为：
$$d^{\ast }=\underset{\alpha ,\beta :\alpha \ge 0}{\max }{\theta }_D(x)=\underset{\alpha ,\beta :\alpha \ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\text{\hspace{1em}(6)}$$
我们称之为拉格朗日函数的极大极小问题。

3.原始问题和对偶问题的关系

定理1：若原始问题和对偶问题都有最优值，则有：

$$d^{\ast }\le p^{\ast }\text{\hspace{1em}(7)}$$

推论：设$x^{\ast }和{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的可行解$d^{\ast }=p^{\ast }$，则$x^{\ast }和{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题最优解。

很显然我们此时可以用解对偶问题的方式，求解原问题。

定理2：假设$f(x)和c_i(x)$是凸函数，$h_j(x)$是仿射函数（最高次项为1的函数）；并且假设不等式约束$c_i(x)$是严格可行的，即存在x，对于所有i有$c_i(x)<0$，则存在$x^{\ast }和{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解，并且：

$$d^{\ast }=p^{\ast }=L(x,\alpha ,\beta )\text{\hspace{1em}(8)}$$

定理3：假设$f(x)和c_i(x)$是凸函数，$h_j(x)$是仿射函数；并且假设不等式约束$c_i(x)$是严格可行的，则$x^{\ast }和{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解充分必要条件是$x^{\ast }，{\alpha }^{\ast },{\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker(KKT)条件：

$$\begin{array}{rl}{\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })& =0\\ {\alpha }_i^{\ast }{c}_i(x^{\ast })& =0\\ c_i(x^{\ast })& \le 0\\ {\alpha }_i^{\ast }& \ge 0\\ h_j(x^{\ast })& =0\end{array}\text{\hspace{1em}(9)}$$
特别指出：若${\alpha }_i^{\ast }>0$,则c_i(x^*)=0。所以我们称${\alpha }_i^{\ast }\ge 0$是KKT的对偶互补条件。