拉格朗日对偶性

原始问题：
$\underset{x}{\min }f(x)$
$s.t.g(x)\le 0$。
原始问题转化为对偶问题求解的整体思路就是构造原问题最优值的下界（即拉格朗日对偶函数）。然后考虑如何确定原问题最优值的最大下界（最大化拉格朗日对偶函数）即可。
构造拉格朗日函数:
$L(x,\lambda )=f(x)+\lambda g(x)，\lambda \ge 0$
则有：
$d_{\ast }=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )\le L(x,\lambda )\le \underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )=p_{\ast }$
或者
$d_{\ast }=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )\le L(x,\lambda )\le \underset{x}{\min }f(x)=p_{\ast }$
（因为$f(x)=\underset{\lambda }{\max }L(x,\lambda )$）。

拉格朗日对偶函数${\theta }_D(\lambda )=\underset{x}{\min }L(x,\lambda )$。${\theta }_D(\lambda )$为原始问题的最优值$p_{\ast }$的下界。
考虑求解对偶函数${\theta }_D(\lambda )$的最好（优、大）下界即可得到对偶问题。
对偶问题：
$\underset{\lambda }{\max }{\theta }_D(\lambda )$
$s.t.\lambda \ge 0$

需要注意到，目前为止，对偶问题的最优值$d_{\ast }$仅是原始问题的最优值$p_{\ast }$的一个下界。但是在一定条件下有$d_{\ast }=p_{\ast }$。此时对偶问题的解也是原问题的解，这样原问题得以求解。这个一定条件就是原目标函数$f(x)$是凸的，不等式约束函数$g(x)是凸的$并且严格可行，等式约束函数$h(x)$是仿射函数。

最终求解就是对拉格朗日函数的原变量$x$和对偶变量$\lambda$求导。即可得到对偶变量$\lambda$的解，以及原变量$x$和对偶变量$\lambda$的关系，根据其关系的到原变量$x$的解。

注：之所以转化为对偶问题是因为，不论原问题的凸性如何，对偶问题始终是一个凸优化问题，更容易求解。另外转化为对偶问题可能导致优化变量的减少等。