拼命三娘冲（20191113)_对偶问题

优化问题 $R^n$
$$\begin{gathered} min{f}_0(x) \\ {f}_i(x)⩽0,i=1,2，...,m \\ {h}_i(x)=0,i=1,2，...,p \\ D=\bigcap ^{m}dom{f}_i\bigcap ^{p}dom{h}_i \end{gathered}$$
拉格朗日量 $R^{n+m+p}$
$$L(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
拉格朗日对偶函数 $R^{m+p}$
$$g(\lambda ,,v)=infL(x,\lambda ,v)=inf{f}_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
对偶问题的重要性质：可以为原问题提供下界。
若限制${\lambda }_i⩾0$, 则 $g(\lambda ,v)⩽p^{\ast }$
证明：
$$\begin{gathered} g(\lambda ,v)⩽f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x) \\ =f_0(x)+\sum _{i=1}^{m+p}{\lambda }_i{f}_i(x) \\ ⩽f_0(x) \end{gathered}$$
对偶问题
$$\begin{gathered} min{f}_0(x) \\ s.t.{\lambda }_i⩾0 \end{gathered}$$
应用：最小向量范数，最大熵问题

对偶性质
  \medspace 假设 $min{f}_0^{\ast }(x)=p^{\ast },max{g}_0({\lambda }^{\ast },v^{\ast })=d^{\ast }$
  \medspace 弱对偶性（总成立）：$d^{\ast }⩽p^{\ast }$
  \medspace 强对偶性：$d^{\ast }=p^{\ast }$
  \medspace   \medspace 几乎所有的凸优化问题都满足强对偶性/若存在一个可行域中的点$x$，使得$f_i(x)<0$，那么该凸优化满足强对偶性条件。