【机器学习杂记】拉格朗日对偶性（Lagrange duality）

1.原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题：
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_j(x)\le 0,i=1,2,\dots k \\ {h}_j(x)=0,j=1,2,\dots l \end{gathered}$$
这个约束最优化问题称作原始问题。
解这个原始问题需引进广义拉格朗日函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^n{\alpha }_i{c}_i(x)+\sum _{j=1}^n{\beta }_j{h}_j(x)$$
其中${\alpha }_i,{\beta }_j$为拉格朗日乘子。
考虑$x$的函数：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
下面考虑两种情况：

1. $x$不违反约束条件
   这时很显然，$L$的第三项为0，若使$L$最大，由于${\alpha }_i\ge 0,c_j(x)\le 0$，则第二项也必为0，因此有
   $${\theta }_p(x)=f(x),当x满足约束条件$$

2. x违反约束条件
   这时我们可以直接人为定义:
   若某个i使$c_i(x)>0$,令${\alpha }_i\to +\infty$,同理，若某个j使$h_j(x)\ne 0$,令${\beta }_i\to +\infty$，这样就有
   $${\theta }_p(x)=+\infty$$
   且不影响解的结果。

因此如下极小化问题
$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
是和原问题等价的。
问题${\min }_x{\max }_{\alpha ,\beta :{\alpha }_i\ge 0}L(x,\alpha ,\beta )$称作广义拉格朗日的极小极大问题。
定义原始问题的最优值
$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$
为原始问题的值。

对偶问题

定义
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$
再将上式极大化
$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
上式成为广义拉格朗日函数的极大极小问题。原始问题中，是极小极大问题。原始问题的下标p表示prime，对偶问题的下标D表示dual（duality）.
可以将广义拉格朗日函数的极大极小问题表示为如下约束最优化问题：
$$\begin{gathered} \underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0 \end{gathered}$$
同样，定义对偶问题的最优值
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$

原始问题和对偶问题的关系

定理1
若原始问题和对偶问题都有最优值，则
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )\le p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$
证明略。
定理2
假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数（最高次数为1的多项式函数），且不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有i有$c_i(x)<0$，则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使$x^{\ast },$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$
定理3
假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数（最高次数为1的多项式函数），且不等式约束$c_i(x)$是严格可行的，则$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足下面的KKT条件：
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ s.t.{\alpha }_i^{\ast }{c}_i(x^{\ast })=0 \\ {c}_i(x^{\ast })\le 0 \\ {\alpha }_i^{\ast }\ge 0 \\ {h}_j(x^{\ast })=0 \\ i=1,2,\dots ,kj=1,2,\dots l \end{gathered}$$