拉格郎日函数

1:拉格郎日函数
对于问题：
$min{f}_0(x)$
$f_i(x)\le 0i=1,2...,n$
$h_i(x)=0i=1,2...,n$
注意这里没有指定函数是凸函数
对应的拉格郎日函数写为
$L(x,\lambda ,v)=f_0(x)+\sum _{i=1}^n{\lambda }_i{f}_i(x)+\sum _{i=1}^n{v}_i{h}_i(x),\lambda \in R^n,v\in R^n$

2:拉格郎日对偶函数：
$g(\lambda ,v)=minL(x,\lambda ,v)$
表示在给定x的情况下的关于 $\lambda ,v$的最小值函数
性质1：$g(\lambda ,v)$ 是凹函数
性质2：$\forall \lambda \ge 0,对于\forall v,有g(\lambda ,v)\le p^{\ast },p^{\ast }是原拉格郎日函数的最优解$

3：对偶问题：
$\{\begin{array}{l}maxg(\lambda ,v)=\max \min L(x,\lambda ,v)\\ \lambda \ge 0\end{array}$
是凸问题，因为最大化凹函数等于最小化凸函数，自变量$\lambda 满足凸集的定义$
令对偶问题最优解为$d^{\ast }$
原问题最优解为$p^{\ast }$
当满足 $d^{\ast }=p^{\ast }$时，称为强对偶，$d^{\ast }\le p^{\ast }$为弱对偶

4：鞍点：
对于任意函数$f(w,z)$,一定有下列不等式成立：也叫弱对偶关系
$\underset{z}{\max }\underset{w}{\min }f(w,z)\le \underset{w}{\min }\underset{z}{\max }f(w,z)$
证明：
下列不等式恒成立：
$\underset{w}{\min }f(w,z)\le f(w,z):w作为自变量$
$f(w,z)\le \underset{z}{\max }f(w,z):z作为自变量$
所以有：
$\underset{w}{\min }f(w,z)\le \underset{z}{\max }f(w,z)$
令
$\underset{w}{\min }f(w,z)=\alpha (z):\alpha (z)是关于z的函数$
$\underset{z}{\max }f(w,z)=\beta (w):\beta (w)是关于w的函数$
所以有下列不等式恒成立
$\alpha (z)\le \beta (w)$
也就有：
$\underset{z}{\max }\alpha (z)\le \underset{w}{\min }\beta (w)$
$\underset{z}{\max }\underset{w}{\min }f(w,z)\le \underset{w}{\min }\underset{z}{\max }f(w,z)$
证明完毕

如果等式成立，并且$w,z$取值相同的点称作鞍点
对于原问题：
$maxL(x,\lambda ,v)=\{\begin{array}{l}\infty :当\lambda <0\\ L(x,\lambda ,v):当\lambda \ge 0\end{array}$
所以有下列关系成立
$L(x,\lambda ,v)=\{\begin{array}{l}\min \max L(x,\lambda ,v)\\ \lambda \ge 0\end{array}$

鞍点定理：
$若w^{\ast },z^{\ast }是函数f(w,z)的鞍点，则强对偶关系存在p^{\ast }=d^{\ast },并且该点是$
$原问题和对偶问题的最优解$

5：当原问题是凸问题时，基本上满足slater 条件 ，从而满足 $d^{\ast }=p^{\ast }$

• slater 条件是充分条件

6：KKT条件:$令：x^{\ast },{\lambda }^{\ast },v^{\ast }$是原问题最优解，如果所有函数一阶可微，
并且满足$d^{\ast }=p^{\ast },一定会有下列条件成立$
$\{\begin{array}{l}{f}_i(x^{\ast })\le 0\\ h_i(x^{\ast })=0前两条保证原问题满足约束\\ {\lambda }^{\ast }\ge 0保证对偶问题满足约束\\ {\lambda }_i{f}_i(x^{\ast })=0互补松弛条件\\ \nabla f_0(x^{\ast })+\sum _{i=1}^n{\lambda }_i\nabla f_i(x^{\ast })+\sum _{i=1}^n{v}_i\nabla h_i(x^{\ast })=0满足凸函数性质\end{array}$

必要性证明：已知条件：$所有函数可微,d^{\ast }=p^{\ast },x^{\ast },{\lambda }^{\ast },v^{\ast }是原问题最优解$
必然有
$\{\begin{array}{l}{f}_i(x^{\ast })\le 0\\ h_i(x^{\ast })=0\\ {\lambda }^{\ast }\ge 0\end{array}$
前两条表示原问题有可行解，最后一条表示对偶问题有可行解
又因为$d^{\ast }=p^{\ast }$
所以有：$f_0(x^{\ast })=g({\lambda }^{\ast },v^{\ast })$
$=minL(x,{\lambda }^{\ast },v^{\ast })$
$=min(f_0(x)+\sum _{i=1}^n{\lambda }_i^{\ast }{f}_i(x)+\sum _{i=1}^n{v}_i^{\ast }{h}_i(x))$
$\le f_0(x^{\ast })+\sum _{i=1}^n{\lambda }_i^{\ast }{f}_i(x^{\ast })+\sum _{i=1}^n{v}_i^{\ast }{h}_i(x^{\ast })$
$=f_0(x^{\ast })$
所以${\lambda }_i^{\ast }{f}_i(x^{\ast })=0成立$
又因为所有函数可微，那么我们知道函数的极值点是导数为0的点，所以会满足
$\nabla f_0(x^{\ast })+\sum _{i=1}^n{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+\sum _{i=1}^n{v}_i^{\ast }\nabla h_i(x^{\ast })=0$
必要性证明完毕

6：充分性：
$令：x^{\ast },{\lambda }^{\ast },v^{\ast }原问题最优解，如果所有函数一阶可微，$
$并且所有函数都是凸函数，则KKT条件是d^{\ast }=p^{\ast }的充分必要条件$