零基础学习（凸优化）

零基础学习（凸优化）

凸优化学习视频：https://www.bilibili.com/video/BV16W411f7Y7?p=4

凸优化主要内容

一、凸集

集合C内任意两点间的线段均在集合C内，则称集合C为凸集。
$$\forall x_1,x_2,...,x_k\in C,{\theta }_i\in [0,1]且\sum _{i=1}^k{\theta }_i=1,则X=\sum _{i=1}^k{\theta }_i{x}_i\in C$$

例：$x=\theta x_1+(1-\theta )x_2,\theta \in (0,1)$

• 在凸集C中，$x_1,x_2\in C,0\le \theta \le 1\Rightarrow \theta x_1+(1-\theta )x_2\in C$
• 如图
  

二、凸函数

定义：

​ 若函数f的定义域domf为凸集，且满足

​ ∀x,y ∈ domf，0≤θ≤1，有f(θx + (1-θ)y) ≤ θf(x) + (1-θ)f(y)

​ 则这样的函数f就是凸函数。

如果一个函数是凸函数，则该函数的图像上方区域一定是凸集。反过来也成立，即：如果一个函数图像的上方区域是凸集，则该函数是凸函数，于是如下图所示：

这个图像就是函数y=x2的图像，这个函数是个在明显不过的凸函数，它的上方区域就是凸集。

三、凸优化

凸优化问题的基本形式：

$$\{\begin{array}{rlr}minimize& & f_0(x),x\in R^n(凸函数)\\ subjectto& & f_i(x)\le 0,i=1,...,m;(凸函数)\\ & & h_j(x)=0,j=1,...,p;(仿射函数)\end{array}$$

凸优化问题求解的方式为：求原函数$f_0(x)$的最小值转化为求Lagrange对偶函数求极大值。

Lagrange乘子法：

求解优化问题一般用Lagrange乘子法。
$$\{\begin{array}{rlr}minimize& & f_0(x),x\in R^n(凸函数)\\ subjectto& & f_i(x)\le 0,i=1,...,m;(凸函数)\\ & & h_j(x)=0,j=1,...,p;(仿射函数)\end{array}$$
其Lagrange函数为：
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{j=1}^p{\nu }_i{h}_j(x),其中{\lambda }_i\ge 0,{\nu }_j\in R$$

Lagrange对偶函数：

$$g(\lambda ,\nu )=\underset{x\in D}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))$$

其中inf表示下确界，类似极小值。

原问题是求原函数的最小值，但是原函数有约束条件，于是先将原函数转换为Lagrange函数，即$L(x,\lambda )=f(x)+\lambda g(x)$,原问题的本质求法是先对$\lambda$求$L(x,\lambda )$的极大值(即上确界sup)，然后对x求极小值(即下确界inf)，从而得到原函数的极小值，即$\underset{x}{\inf }\underset{\lambda \ge 0}{\sup }L(x,\lambda )$。

但是由于上述这种求法不好求，所以将问题转化为先对$x$求$L(x,\lambda )$的极小值(即获得$L(x,\lambda )$的下确界)，从而得到$L(x,\lambda )$的对偶函数$g(\lambda )$,然后对$g(\lambda )$求极大值来近似原函数的最小值，即$\underset{\lambda \ge 0}{\sup }\underset{x}{\inf }L(x,\lambda )$

KKT条件

若要对偶函数的最大值即为原问题的最小值，考虑需要满足的条件：

上式的$g({\lambda }^{\ast },{\nu }^{\ast })$就是Lagrange对偶函数，

对偶函数的结果$\le$目标值，为了让$\le$变为$=$：

• 让第三行的$\le$变为$=$,需要让$x^{\ast }$是第二行Lagrange函数的驻点，让Lagrange函数对x求偏导的值为0，即$\nabla f_0(x^{\ast })+{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+{\sum }_{i=1}^p{v}_i^{\ast }\nabla h_i(x^{\ast })=0$.
• 为了让第四行的$\le$变为$=$,需要每个${\lambda }_i^{\ast }{f}_i(x^{\ast })=0$,因为${\lambda }_i\ge 0，f_i(x^{\ast })$是已知的约束条件，是小于等于0的，所有若有一个${\lambda }_i\ast f_i(x\ast )\ne 0$，则第三行第二项的值就一定小于0，这样就无法将≤变成=，然后因为hi(x*)是已知的约束条件，是等于0的。
• 加上已知的三个约束条件

所以KKT条件为：
$$\{\begin{array}{r}\nabla f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+\sum _{i=1}^p{v}_i^{\ast }\nabla h_i(x^{\ast })=0(新增的第一个约束)\\ {\lambda }_i^{\ast }{f}_i(x^{\ast })=0(新增的第二个约束)\\ {\lambda }_i\ge 0(Lagrange乘子法的定义)\\ f_i(x)\le 0(已知的约束条件)\\ h_i(x)\le 0(已知的约束条件)\\ 其中i=1,2,...,m\end{array}$$

注意：如果原问题中$f_i(x)$是凸函数的话，KKT条件是充分条件；如果原问题是个一般性问题，即$f_i(x)$不一定是凸函数，则KKT条件是必要条件，不是充分条件。