《凸优化》学习笔记5-对偶（第五章第一至四节）

拉格朗日对偶问题

拉格朗日对偶函数

优化问题（不一定是凸的）的标准形式如下：
$$\begin{array}{lll}\text{minimize}& f_0(x)& \\ \text{subject to}& f_i(x)\le 0,& i=1,\cdots ,m\\ & h_i(x)=0,& i=1,\cdots ,p\end{array}$$
拉格朗日的基本思想是在目标函数中考虑约束条件，将目标函数和约束函数的加权和作为最终的目标函数，称为拉格朗日函数：
$$\begin{array}{lll}& L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\mu }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)& \end{array}$$
${\mu }_i,{\nu }_i$称为拉格朗日乘子。
拉格朗日对偶函数为拉格朗日函数关于$x$取得的最小值：
g ( λ , ν ) = inf ⁡ x ∈ D L ( x , λ , ν ) = inf ⁡ x ∈ D ( f 0 ( x ) + ∑ i = 1 m μ i f i ( x ) + ∑ i = 1 p ν i h i ( x ) ) \begin{array}{lll} & g(\lambda,\nu)=\inf_{x\in \mathcal{D}}L(x,\lambda,\nu) =\inf_{x\in \mathcal{D}} \left(f_0(x) +\sum \limits_{i=1}^m \mu_i f_i(x)+\sum \limits_{i=1}^p \nu_i h_i(x) \right)& \end{array} ​