拉格朗日对偶性

拉格朗日对偶性

在约束最优化的问题中，常常需要利用拉格朗日对偶性(Language duality)将原始问题转为对偶问题，通过解决对偶问题来得到原始问题的解。

拉格朗日乘数法

拉格朗日乘数法是用来求条件极值的，极值问题可以分为两类：

1. 求函数在给定区间上的极值，对自变量没有其他的要求，这种极值称为无条件极值。
2. 对自变量有一些附加的约束条件限制下的极值，称为条件极值

比如给定椭球$\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$，求这个椭球内接长方体的最大体积，这个问题实际上就是条件极值问题，即在条件:
$$\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$$
下，求$f(x,y,z)=8xyz$的最大值
这个问题实际上可以先根据条件消去z，然后代入转化为无条件极值问题来处理。但有时候这样做很困难，甚至是做不到的，这时候就需要用到拉格朗日乘数法了。如下描述：
求函数z=f(x,y)在满足$\phi (x,y)=0$下的条件极值，可以转化为函数$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$的无条件极值问题，如果$(x_0,y_0,{\lambda }_0)$是函数$F(x,y\lambda )$的驻点，则$(x_0,y_0)$就是条件极值的嫌疑点

条件极值问题可以转换为无条件极值问题求解，但有些条件关系比较复杂，代换和运算很复杂，而相对来说，拉格朗日乘数法不需要代换，运算简单，这就是优势！

广义拉格朗日乘数法

为了求如下约束的最优问题：
$$\underset{x}{\min }f(x),s.t.g(x)\le 0,h(x)=0$$
引入广义拉格朗日函数：
$$L(x,\lambda ,\eta )=f(x)+\lambda g(x)+\eta h(x),\lambda \ge 0$$
这里的$L(x,\lambda ,\eta )$叫做拉格朗日函数,$\lambda ,\eta$叫做拉格朗日乘子。有时也可以把$\lambda$叫做KKT乘子
首先需要证明：
$$\underset{x}{\min }f(x),s.t.g(x)\le 0,h(x)=0\iff \underset{x}{\min }\underset{\lambda ,\eta :\lambda \ge 0}{\max }L(x,\lambda ,\eta )$$

证明过程如下：

1. 首先将$\underset{\lambda ,\eta :\lambda \ge 0}{\max }L(x,\lambda ,\eta )$记住函数$P(x)$

   1. 假定设定某个违反原始问题约束条件的$x$，即存在某个x使得$g(x)>0$或$h(x)\ne 0$

      • 若$g(x)>0$，可以令$\lambda \to +\infty$，使得 P ( x ) =