凸函数优化之对偶理论

预备知识

什么是凸优化？

凸优化需要满足：

• 1、在最小化（最大化）的要求下；
• 2、目标函数是一个凸函数（凹函数）；
• 3、同时约束条件所形成的可行域集合是一个凸集。

凸集

若集合$C$为凸集，则$C$中任意两点间的线段仍然在$C$中，也就是说，对于任意$x_1,x_2\in C$，都有：
$$\theta x_1+(1-\theta )x_2\in C$$
其中，$0\le \theta \le 1$。

凸优化问题

仿射函数

仿射函数，即最高次数为1的多项式函数。常数项为零的仿射函数称为线性函数。

对偶理论

一、原问题转化

对于一般优化问题，如：
$$\begin{gathered} minimize{f}_{o(x)} \\ s.t.f_{i(x)}\le 0fori=1,2,\dots \dots m \\ {h}_{i(x)}=0fori=1,2,\dots \dots p \end{gathered}$$
则可以将其转化为拉格朗日函数：
$$L_{(x,\lambda ,v)}=f_{o(x)}+\sum _{i=1}^m{\lambda }_i{f}_{i(x)}+\sum _{i=1}^p{v}_i{h}_{i(x)}$$
其中包含主变量$x$和对偶变量${\lambda }_i\ge 0,v_i$。
如果想固定$x$，只通过改变$\lambda$和$v$来获得上面函数的最大值，即：
$$\underset{\lambda ,v}{\max }{L}_{(x,\lambda ,v)}=f_{o(x)}+\underset{\lambda ,v}{\max }(\sum _{i=1}^m{\lambda }_i{f}_{i(x)}+\sum _{i=1}^p{v}_i{h}_{i(x)})$$
因为$f_{i(x)}\le 0$，${\lambda }_i\ge 0$，且$h_{i(x)}=0$，则：
$$\underset{\lambda ,v}{\max }{L}_{(x,\lambda ,v)}=f_{o(x)}$$
所以原本在约束条件下要求的$\underset{x}{\min }{f}_{o(x)}$可以被转化为求：
$$p^{\ast }=\underset{x}{\min }(\underset{\lambda ,v}{\max }{L}_{(x,\lambda ,v)})$$
而当强对偶条件成立时，这个问题又可以被转化为求：
$$d^{\ast }=\underset{\lambda ,v}{\max }(\underset{x}{\min }{L}_{(x,\lambda ,v)})$$
将$\underset{x}{\min }{L}_{(x,\lambda ,v)}$称为拉格朗日对偶函数，即拉格朗日函数关于$x$取得的最小值，设：
$$g_{(\lambda ,v)}=\underset{x}{\min }{L}_{(x,\lambda ,v)}=\underset{x}{\min }(f_{o(x)}+\sum _{i=1}^m{\lambda }_i{f}_{i(x)}+\sum _{i=1}^p{v}_i{h}_{i(x)})$$
那么，$g_{(\lambda ,v)}$是$(\lambda ,v)$的仿射函数$L_{(x,\lambda ,v)}$的逐点下确界，这一定是个凹函数。凸优化学习(一)为什么lagrangr的下确界必然是一个凹函数
设$\tilde{x}$是原问题的一个可行点，即$f_{i(x)}\le 0$且$h_{i(x)}=0$，根据假设$\lambda \ge 0$，有：
$$\sum _{i=1}^m{\lambda }_i{f}_{i(\tilde{x})}+\sum _{i=1}^p{v}_i{h}_{i(\tilde{x})}\le 0$$
所以：
$$L_{(\tilde{x},\lambda ,v)}=f_{o(\tilde{x})}+\sum _{i=1}^m{\lambda }_i{f}_{i(\tilde{x})}+\sum _{i=1}^p{v}_i{h}_{i(\tilde{x})}\le f_{o(\tilde{x})}$$
因此
$$g_{(\lambda ,v)}=\underset{x}{\inf }{L}_{(x,\lambda ,v)}\le L_{(\tilde{x},\lambda ,v)}\le f_{o(\tilde{x})}$$
其中，$\underset{x}{\inf }{L}_{(x,\lambda ,v)}$是指$L_{(x,\lambda ,v)}$的逐点下确界。
也就是说，$d^{\ast }\le p^{\ast }$是一定的。
至此，我们已经证明了原问题$\underset{x}{\min }{f}_{o(x)}$可以被转化为求$\underset{x}{\min }(\underset{\lambda ,v}{\max }{L}_{(x,\lambda ,v)})$，且由对偶条件进而被转化为求$\underset{\lambda ,v}{\max }(\underset{x}{\min }{L}_{(x,\lambda ,v)})=\underset{\lambda ,v}{\max }{g}_{(\lambda ,v)}$，并且$\underset{\lambda ,v}{\max }{g}_{(\lambda ,v)}$是一定小于$\underset{x}{\min }{f}_{o(x)}$的。

ps：对偶条件

弱对偶：$d^{\ast }\le p^{\ast }$，无论原问题是不是凸优化问题，这个式子总是成立的。
强对偶：$d^{\ast }=p^{\ast }$

• 该条件通常不成立。
• 对于凸优化问题通常成立。
• 对于满足$Slater$条件的凸优化问题一定成立。
  【注】$Slater$条件是指，对于在预备知识模块给出的凸优化问题的定义中的$f_{i(x)}$，总存在一点$x$，使得$f_{i(x)}<0$在$i=1,2,\dots \dots m$上均成立。

二、互补松弛性

设原问题和对偶问题的最优解都可以达到且相等（强对偶性成立），令$x^{\ast }$为原问题的最优解，$({\lambda }^{\ast },v^{\ast })$为对偶问题的最优解，则：
$$\begin{gathered} f_{o(x^{\ast })}=g_{({\lambda }^{\ast },v^{\ast })} \\ =\underset{x}{\inf }(f_{o(x)}+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_{i(x)}+\sum _{i=1}^p{v}_i^{\ast }{h}_{i(x)}) \\ \le f_{o(x^{\ast })}+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_{i(x^{\ast })}+\sum _{i=1}^p{v}_i^{\ast }{h}_{i(x^{\ast })} \\ \le f_{o(x^{\ast })} \end{gathered}$$
取等号时，有：
$${\lambda }_i^{\ast }{f}_{i(x^{\ast })}=0i=1,2,\dots \dots m$$
此条件称为互补松弛性，也就是KKT条件。

三、凸问题的KKT条件

当原问题是凸问题时，满足KKT条件的点也是原问题和对偶问题的最优解。也就是说，如果函数$f_{i(x)}$为凸函数，$h_{i(x)}$为仿射函数，$\tilde{x},\tilde{\lambda },\tilde{v}$是任意满足KKT条件的点。即满足：

• 问题约束：
  $$f_{i(\tilde{x})}\le 0i=1,2,\dots \dots m$$
  $$h_{i(\tilde{x})}=0i=1,2,\dots \dots m$$
  $$\widetilde{{\lambda }_i}\ge 0i=1,2,\dots \dots m$$
• 互补松弛性：
  $$\widetilde{{\lambda }_i}{f}_{i(\tilde{x})}=0i=1,2,\dots \dots m$$
• 极值条件：
  $${▽}_x{L}_{(\tilde{x},\tilde{\lambda },\tilde{v})}={▽}_x{f}_{o(\tilde{x})}+\sum _{i=1}^m{\tilde{\lambda }}_i{▽}_x{f}_{i(\tilde{x})}+\sum _{i=1}^p{\tilde{v}}_i{▽}_x{h}_{i(\tilde{x})}=0$$
  那么，$\tilde{x}$和$(\tilde{\lambda },\tilde{v})$就分别是原问题和对偶问题的最优解，且结果相同。