数学（一）拉格朗日对偶性

• 可行解和最优解

  可行解：各种规划中画不等式组表示的平面区域（即是可行域）后该区域中的点都算可行解

  最优解：通过几何方法在这个区域中可以找出约束条件的最值即最优解

• 拉格朗日乘子法

  待求解问题为：

  $$minf(x)$$
  $$s.t.h_i(x)=0i=1,2,3,...,n$$

  这个问题可以转换为

  $$min[f(x)+\sum _{i=1}^n{\alpha }_i{h}_i(x)]$$

  其中${\alpha }_i$称为拉格朗日乘子，

  求解过程如下，

  首先对拉格朗日方程$L(x,\alpha )=f(x)+{\sum }_{i=1}^n{\alpha }_i{h}_i(x)$的$x$和$\alpha$求导，得到如下式子，

  $$\{\begin{array}{c}{\nabla }_{x}L(x,\alpha )=0\\ {\nabla }_{\alpha }L(x,\alpha )=0\end{array}$$
  和 $h_i(x)$联立可得到最优解的$x$和$\alpha$,

  下面证明算法的正确性，

  现在有一个二元函数，要求其最小值，$min(f(x,y))$,而约束条件为$g(x,y)=c$, 则如下图所示，

  

  通过图上可以看出最优解发生在$g(x,y)=c$的负梯度方向和$f(x,y)$某一等值线的梯度方向相同，即

  $$\nabla f(x,y)=-\alpha \nabla (g(x,y)-c)\to \nabla [f(x,y)+\alpha (g(x,y)-c)]=0$$
  通过上述推导，可得$L(x,y,\alpha )=f(x,y)+\alpha (g(x,y)-c)$的偏导等于0， 则说明这时分别对x,y,$\alpha$求偏导，可得

  $${\nabla }_{x,y,\alpha }L(x,y,\alpha )=0$$
  $$g(x,y)=c$$

  因而当$L(x,y,\alpha )$达到极值时和$f(x,y)$相同，因而达到极值时$g(x,y)-c=0$,这就证明了两个问题是等价的，

• KKT条件

  更一般的情况是求解约束条件下目标函数的极值问题既有等式，也有不等式，如下讲解只有不等式约束的情况，等式约束直接添加即可，

  重申问题，

  $$minf(x)$$
  $$s.t.g(x)\le 0$$
  对应的拉格朗日公式为$L(x,\alpha )=f(x)+\alpha g(x)$， 图形表示形式如下，

  

  这时，有两种情况，

  1. 如果可行解直接落在约束条件范围内，即落在$g(x)<0$的范围内，则直接删掉约束条件即可，
  2. 如果可行解落在约束条件外，则最优解在边界上去的，即在$g(x)=0$的曲线上取得，

  上述两种状况如下所示，
  

  以上两种状况要么落在约束区域内，则$\alpha =0$，因为直接去掉约束条件即可，要么落在约束条件边界上，则$g(x)=0$, 综合起来就是

  $$\alpha g(x)=0$$
  还有一个问题就是$\alpha$的取值问题，当$\alpha$不等于0的时候，即最优解在$g(x)=0$上取得时，$f(x,y)$的等值线的负梯度方向必须要和$g(x)=0$的梯度方向(法线方向)一致，即

  $$-{\nabla }_{x}f(x)=\alpha {\nabla }_{x}g(x)$$

  通过上面式子看出当$\alpha$不等于0的时候，$\alpha$一定大于0， 即$\alpha \ge 0$

  只有这样才能够得到最优解，其他虽然共线但是方向不同的不算是最优解，解释如下图所示，、

  

  因而对于不等式约束，只要满足一定的条件都能够用拉格朗日算子法求解，这里的条件就是所谓的KKT条件，条件的总和即为上面讲述的结果，

  整理一下可得，目标函数为
  $$min(f(x))$$
  $$s.t.h_i(x)=0,i=1,2,...,m$$
  $$g_j(x)\le 0,j=1,2,...,n$$

  构造无约束条件拉格朗日函数为

  $$L(x,\alpha \beta )=f(x)+\sum _{i=1}^m{\alpha }_i{h}_i(x)+\sum _{j=1}^n{\beta }_j{g}_j(x)$$
  在约束条件下的可行解(当然也包括最优解) 必须满足如下条件($i=1,2,...,mj=1,2,...,n$)

  $${\nabla }_{x,\alpha ,\beta }L(x,\alpha ,\beta )=0$$

  $$h_i(x)=0$$
  $$g_j(x)\le 0$$
  $${\beta }_j\ge 0$$
  $${\beta }_j{g}_j(x)=0$$

  这就是所谓的KKT条件，简单易懂，

• 拉格朗日对偶性

  • 原始问题

    假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数，则如下称为约束最优化问题的原始问题，

    $$mi{n}_{x\in R^n}f(x)$$
    $$s.t.c_i(x)\le 0,i=1,2,...,k$$
    $$h_j(x)=0j=1,2,...,l$$

    引入广义拉格朗日函数为

    $$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
    ${\alpha }_i,{\beta }_i$为拉格朗日乘子，${\alpha }_i\ge 0$, 考虑x的函数

    $${\theta }_P(x)=ma{x}_{\alpha ,\beta ;{\alpha }_i}L(x,\alpha ,\beta )$$
    对于给定某个x,如果x违反原始问题的约束条件，即存在某个i使得$c_i(x)>0$或者存在某个j,使得$h_j(x)\ne 0$,那么有${\theta }_P(x)=+\infty$, 而且当x满足所有的约束条件时，${\theta }_P(x)=f(x)$,因此

    $${\theta }_P(x)=\{\begin{array}{c}f(x)whenxsatisfyallconstrains\\ +\infty .otherwise\end{array}$$

    考虑极小化问题，则有

    $$mi{n}_x{\theta }_P(x)=mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )$$

    上式与原始问题是等价的，称为极小极大问题，为了简化起见，定义原始问题最优值为

    $$p^{\ast }=mi{n}_x{\theta }_P(x)$$

  • 对偶问题

    定义

    $${\theta }_D(\alpha ,\beta )=mi{n}_{x}L(x,\alpha ,\beta )$$
    再考虑极大化${\theta }_D(\alpha ,\beta )$, 即

    $$ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}mi{n}_{x}L(x,\alpha ,\beta )$$
    上式为广义拉格朗日函数的极大极小问题，

    极大极小问题的约束最优化问题如下，
    $$ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}mi{n}_{x}L(x,\alpha ,\beta )$$
    $$s.t.{\alpha }_i\ge 0,i=1,2,...,k$$

    对偶问题的最优值为

    $$d^{\ast }=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )$$

  • 原始问题和对偶问题的关系

    • 定理1

    $$d^{\ast }\le p^{\ast }$$

    • 定理2

      假设$f(x),c_i(x)$为凸函数，$h_j(x)$为仿射函数，并且不等式约束$c_i(x)$是严格可行的(即存在x, 使得所有的i都有$c_i(x)<0$), 那一定会存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$, 使得$x^{\ast }$为原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$为对偶问题的最优解，而且这时$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$

    • 定理3

      假设$f(x),c_i(x)$为凸函数，$h_j(x)$为仿射函数，并且不等式约束$c_i(x)$是严格可行的(即存在x, 使得所有的i都有$c_i(x)<0$),则$x^{\ast }$为原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$为对偶问题的最优解的充分必要条件为如下，

      $x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件，即

      $${\nabla }_{x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
      $$h_j(x^{\ast })=0j=1,2,...,l$$
      $$c_i(x^{\ast })\le 0i=1,2,...,k$$
      $${\alpha }_i\ge 0i=1,2,...,k$$
      $${\alpha }_i{c}_i(x^{\ast })=0i=1,2,...,k$$

      而且最关键的是，如果某个$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件，那么它们也是对偶问题和原始问题的解，这就提供了如何通过解对偶问题解决原始问题的可能性，也就是说求解KKT条件的过程就是求解原始和对偶问题解的过程，

    定理3和定理2是同时成立的，也就是说定理2成立的同时定理3也成立，即只要能够满足且不等式约束$c_i(x)$是严格可行的，则原始问题的最优解能够通过求解对偶问题来实现，且原始问题和对偶问题的最优解满足KKT条件，而求解的过程也由KKT条件本身计算得出。