凸优化简介9

凸函数的定义与性质

假设一个无约束的最小化问题，目标函数 $f(x)$是光滑的，目标是 $\underset{x\in {\mathbb{R}}^n}{\min }f(x)$。
不过，在解这类问题时，使用一阶优化的方法（例如梯度下降方法）很容易收敛在某个类似鞍点的地方。在下面的分析中，假设 ：对于任意的函数 $f$，一阶优化对于一个点称为全局解来说是充分的。进一步的，对于任意可解的泛函类 $\mathfrak{F}$的主要特征是：存在用简单的方法来校验包含关系 $f\in \mathfrak{F}$的可能。
下面引入两个假设：
1. 如果 $f_1,f_2\in \mathfrak{F}$，并且 $\alpha ,\beta \ge 0$，那么 $\alpha f_1+\beta f_2\in \mathfrak{F}$.
2. 任何线性函数 $f(x)=\alpha +⟨a,x⟩$属于 $\mathfrak{F}$.
下面考虑函数 $f\in \mathfrak{F}$，$x_0\in {\mathbb{R}}^n$，函数 $\Phi (y)=f(y)-⟨\nabla f(x_0),y⟩$。因为 ${\Phi }^{\prime }(y){|}_{y=x_0}=\nabla f(x_0)-\nabla f(x_0)=0$，结合上面的假设，得到 $x_0$是函数 $\Phi$的全局最小,因此，对于任意的 $y\in {\mathbb{R}}^n$，有 $\Phi (y)\ge \Phi (x_0)=f(x_0)-⟨\nabla f(x_0),x_0⟩$，因此得到式子：
$f(y)\ge f(x_0)+⟨\nabla f(x_0),y-x_0⟩$，该不等式定义了一类可微的凸函数。

定义：一个连续可微的函数 $f(x)$称为在 ${\mathbb{R}}^n$上是凸的，当且仅当，对于