凸优化——凸函数及凸优化

凸函数及凸优化

今天开坑凸优化了，冲鸭🦆！

1.凸函数定义

$S$为${\mathbb{R}}^n$的非空集合，f是定义在S上的实函数，如果对任意$X^{(1)},X^{(2)}\in S$,$\lambda \in (0,1)$,均有$f(\lambda X^{(1)}+(1-\lambda )X^{(2)})\le \lambda f(X^{(1)})+(1-\lambda )X^{(2)}$,则$f$是$S$上的凸函数。

2. 凸函数的一些性质

• 设$f$是定义在凸集$S$上的凸函数，实数$\lambda \ge 0$，则$\lambda f$也是定义在$S$上的凸函数
• $f_1$, $f_2$为定义在凸集$S$上的凸函数, $f_2+f_1$也是凸集上的凸函数
• $f_1，f_2，...,f_k$是定义在$S$上的凸函数,${\lambda }_1,{\lambda }_2,...,\lambda k\ge 0$,${\sum }_{i=0}^n{\lambda }_i{f}_i$也是凸函数
• $S$是${\mathbb{R}}^n$中一个非空凸集，$f$是定义在$S$上的凸函数，$\alpha$为一个实数，水平集 S α = { x ∣ x ∈ S , f ( x ) ≤ α } S_\alpha= \{x|x\in S,f(x)\leq \alpha\} Sα​={x∣x∈S,f(x)≤α}是凸集。
  
• $S$是${\mathbb{R}}^n$中一个凸集，$f$是定义在$S$上的凸函数，则$f$在$S$的内部连续。
• $S$是${\mathbb{R}}^n$中一个凸集，$f$是定义在$S$上的凸函数，$f$在$S$上的局部极小点是全局极小点，且极小点的集合为凸集合。

3.凸函数的判别

（1）$S$是${\mathbb{R}}^n$中一个凸集，$f$是定义在$S$上的可微函数，则$f(x)$为凸函数的充要条件是对任意两点$X^{(1)},X^{(2)}\in S$,都有：
$f(x^{(2)})\ge f(x^{(1)})+\nabla f(x^{(1)}{)}^T(x^{(2)}-x^{(1)})$.
即任意$f(x^{(2)})$在切线上方。

(2)$S$是${\mathbb{R}}^n$中一个凸集，$f$是定义在$S$上的二次可微函数，则$f(x)$为凸函数的充要条件是对任意一点$X\in S$处的Hesse矩阵半正定（即Hesse特征值大于等于0），即：${\nabla }^{2}f(x)\ge 0$。

4.凸优化问题定义

$$(p)minf(x_1,x_2,...,x_n)$$
$$s.t\{\begin{array}{r}{g}_i(x_1,x_2,...,x_n)\le 0,i=1,...,m\\ h_i(x_1,x_2,...,x_n)=0,i=1,...,I\end{array}$$
$g_i$为凸函数，$h_i$为线形函数。

对于凸优化问题，局部最优解即为全局最优解
证明：

$X^{\ast }\in S为最优解\iff \nabla f(X^{\ast }{)}^T(X-X^{\ast })\ge 0$
即 $X^{\ast }\in S为最优解\iff -\nabla f(X^{\ast }{)}^T{X}^{\ast }\ge -\nabla f(X^{\ast }{)}^{T}X$
证明：

几何解释：

令$-\nabla f(X^{\ast }{)}^T为{\alpha }^T$,上式为：${\alpha }^T{X}^{\ast }\ge {\alpha }^{T}X$,当$\alpha \ne 0$，负梯度方向可确定支撑超平面。$X^{\ast }$为最优解，其负梯度与凸集内任一点X的连线所成的角$>90^o$。即 $\iff -\nabla f(X^{\ast }{)}^T(X-X^{\ast })\le 0$

支撑超平面如下图：

5.无约束问题的最优性条件

（1）如果$f(x)$为凸函数，则$X^{\ast }$是最优解 $\iff \nabla f(X^{\ast })=0$
（2）$f(x)$为一般函数：
必要条件：若$X^{\ast }$最优，则(1)$\nabla f(X^{\ast })=0$ (2)${\nabla }^{2}f(X^{\ast })\ge 0$
证明：
(1)$\nabla f(X^{\ast })=0$

(2)${\nabla }^{2}f(X^{\ast })\ge 0$
利用$X^{\ast }$点处的泰勒展开

充分条件：若$\nabla f(X^{\ast })=0$ 且${\nabla }^{2}f(X^{\ast })>0$，则$X^{\ast }$严格最优

6.算法概述

迭代下降算法：给定初始点$X^{\ast }$，产生点序列 { X k } k = 1 ∞ \{X^k\}^\infin_{k=1} {Xk}k=1∞​，并且$f(x^{k+1})<f(X^k)$。

• 判断是否为找的点
• 找到下一个点

如何从当前点$X^k$迭代找到下一点$X^{k+1}$?

• $线搜索方法：X^k,找到下降方向d^k,确定步长{\alpha }_k(X^{k+1}=X^k+{\alpha }_k{d}^{\ast })$
• $信赖域方法：X^k,先确定要走的范围，再确定方向$

基于线搜索的下降算法基本思路：

• $step0：给定初始点X^0$,$k=0$
• $step1:判断X^k$是否满足终止条件；是，终止
• $step2：寻找X^k$处的下降方向$d^k$
• $step3:选择合适的步长{\alpha }_k>0，使(f(X^k+{\alpha }_k{d}^k)<f(X^k))$
• $step4：令X^{k+1}=X^k+{\alpha }_k{d}^k$，$k=k+1$，转$step1$

其中有四个关键指标:

1. 终止条件

$\{\begin{array}{c}||\nabla f(X^k)|{|}_2\le ϵ，用得多\\ ||X^k-X^{k+N}|{|}_2\le ϵ\\ f(X^k)-f(X^{k+N})\le ϵ\end{array}$

2. 下降方向

• 负梯度方向(最速下降法)
• 牛顿方向
  …

3. 步长问题

$\phi =f(X^k+{\alpha }_k{d}^k)$ 关于$\alpha$的一元函数，通过$min\phi (\alpha )$确定步长

可通过线搜索方法确定

目标：$min\phi (\alpha )(\alpha >0)$

1. 基于搜索区间的直接搜索法
   搜索区间：包含${\alpha }^{\ast }$;单谷:$[a_0,b_0]$
   确定新的搜索区间：选取$\lambda ,\mu \in (a_0,b_0),且\lambda <\mu$
   (1) 如果$\phi (\lambda )<\phi (\mu ):新区间为[a_1,b_1]=[a_0,\mu ]$
   (2) 如果$\phi (\lambda )>\phi (\mu ):新区间为[a_1,b_1]=[\lambda ,b_0]$

2. 均匀搜索法
   令$\delta =(b_0-a_0)/N,{\alpha }_i=a_0+i\delta ,i=1,...,N-1$

   (1) 比较相邻三个点对应的函数值，若对于某个$i$有$\phi ({\alpha }_{i-1})>\phi ({\alpha }_i)<\phi ({\alpha }_{i+1})$，则${\alpha }^{\ast }\in [{\alpha }_{i-1},{\alpha }_{i+1}]$

   (2)得到新的搜索区间$[a_1,b_1]=[{\alpha }_{i-1},{\alpha }_{i+1}]$

3. 0.618法
   令$\tau =(\sqrt{5}-1)/2(\approx 0.618),\lambda =a_0+(1-\tau )(b_0-a_0)，\mu =a_0+\tau (b_0-a_0))$
   （1）若$\phi (\lambda )<\phi (\mu )，则{\alpha }^{\ast }\in [a_0,\mu ],产生新的搜索区间$
   （2）若$\phi (\lambda )>\phi (\mu )，则{\alpha }^{\ast }\in [\lambda ,b_0],产生新的搜索区间$

4. 基于导数信息的二分法(要求：$\phi (\alpha )$能求导才可以)
   记区间中点$\lambda =(b_0+a_0)/2,计算该点导数值{\phi }^{\prime }(\lambda )$
   (1) 若${\phi }^{\prime }(\lambda )=0，则{\alpha }^{\ast }=\lambda$
   (2) 若${\phi }^{\prime }(\lambda )<0，则{\alpha }^{\ast }\in [\lambda ,b_0]$ （函数值下降）
   (3) 若${\phi }^{\prime }(\lambda )>0，则{\alpha }^{\ast }\in [a_0,\lambda ]$ （函数值上升）

5. 非精确性搜索
   Armijo条件：$\phi (\alpha )\le \phi (0)+C_1\alpha {\phi }^{\prime }(0),0<C_1<1$

reference

1. 支撑超平面的图来源自：https://blog.csdn.net/wangchy29/article/details/86497876.
2. 文章主要知识点均来自于b站崔老师的最优化课程，强烈安利：https://www.bilibili.com/video/BV1pk4y1R7WS?share_source=copy_web.