凸优化学习1

$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& x\in C\end{array}$$
其中$C$是一个闭凸集，$f$是$C$上的凸函数

这种问题叫做凸优化问题

定理1

凸优化局部极小值=全局最小：
设$f:C\to \mathbb{R}$是一个定义在凸集$C$上的凸函数。
设${\mathbf{x}}^{\ast }\in C$是$f$在$C$上的一个局部极小值，
则${\mathbf{x}}^{\ast }$是$f$在$C$上的全局最小值

证明：
因为${\mathbf{x}}^{\ast }$是局部极小值，$\exists r>0,\forall \mathbf{x}\in B({\mathbf{x}}^{\ast },r),f(\mathbf{x})\ge f({\mathbf{x}}^{\ast })$
设$\mathbf{y}\in C$且$\mathbf{y}\notin B({\mathbf{x}}^{\ast },r)$,则当$0<\lambda <\frac{r}{\Vert \mathbf{y}-{\mathbf{x}}^{\ast }\Vert }<1$时
${\mathbf{x}}^{\ast }+\lambda (\mathbf{y}-{\mathbf{x}}^{\ast })=(1-\lambda ){\mathbf{x}}^{\ast }+\lambda \mathbf{y}\in B({\mathbf{x}}^{\ast },r)$
$$\begin{array}{rl}f({\mathbf{x}}^{\ast })& \le f((1-\lambda ){\mathbf{x}}^{\ast }+\lambda \mathbf{y})\\ f({\mathbf{x}}^{\ast })& \le (1-\lambda )f({\mathbf{x}}^{\ast })+\lambda f(\mathbf{y})\\ f({\mathbf{x}}^{\ast })& \le f(\mathbf{y})\end{array}$$

定理2

设$f:C\to \mathbb{R}$是一个定义在凸集$C$上的严格凸函数。
设${\mathbf{x}}^{\ast }\in C$是$f$在$C$上的一个局部极小值，
则${\mathbf{x}}^{\ast }$是$f$在$C$上的严格全局最小值

定理3

设$f:C\to \mathbb{R}$是一个定义在凸集$C$上的凸函数。
设凸优化问题的解集为$X^{\ast }$,则$X^{\ast }$是凸集

如果$f$是严格凸函数，则$X^{\ast }$至多存在一个元素

证明：
如果$X^{\ast }$为空集或只有一个元素，结论显然成立

设${\mathbf{x}}^{\ast },{\mathbf{y}}^{\ast }\in X^{\ast },f^{\ast }=f(x^{\ast })$,
$\forall 0\le \lambda \le 1,\lambda {\mathbf{x}}^{\ast }+(1-\lambda ){\mathbf{y}}^{\ast }\in C$
$f^{\ast }\le f(\lambda {\mathbf{x}}^{\ast }+(1-\lambda ){\mathbf{y}}^{\ast })\le \lambda f({\mathbf{x}}^{\ast })+(1-\lambda )f({\mathbf{y}}^{\ast })=f^{\ast }$
所以$X^{\ast }$是凸集

如果$f$是严格凸函数，
假设${\mathbf{x}}^{\ast },y^{\ast }\in X^{\ast },f^{\ast }=f({\mathbf{x}}^{\ast })$,
$f^{\ast }<f(\frac{1}{2}{\mathbf{x}}^{\ast }+\frac{1}{2}{\mathbf{y}}^{\ast })<\frac{1}{2}f({\mathbf{x}}^{\ast })+\frac{1}{2}f({\mathbf{y}}^{\ast })=f^{\ast }$
矛盾

正交投影算子

给定一个非空的闭凸集$C$，正交投影算子$P_C:{\mathbb{R}}^n\to C$定义为
P C ( X ) = arg ⁡ min ⁡ { ∥ y − x ∥ 2 : y ∈ C } P_C(\mathbf{X})=\arg\min\{\|\mathbf{y}-\mathbf{x}\|^2:\mathbf{y}\in C\} PC​(X)=argmin{∥y−x∥2:y∈C}
可以理解为$C$中到$\mathbf{x}$最近的那个点

投影第一定理

设$C$是一个非空闭凸集，则正交投影算子有唯一最优解

证明：
因为这是一个严格的凸函数，并且是一个二次函数，所以他是一个强制函数
因为连续的强制函数在一个非空闭集上一定有最小值，所以这个问题一定有解
因为他是严格凸函数，所以有唯一全局最小值