文章目录
凸函数的定义与性质
假设一个无约束的最小化问题,目标函数 f ( x ) f(x) f(x)是光滑的,目标是 min x ∈ R n f ( x ) \min\limits_{x\in \mathbb{R}^n}f(x) x∈Rnminf(x)。
不过,在解这类问题时,使用一阶优化的方法(例如梯度下降方法)很容易收敛在某个类似鞍点的地方。在下面的分析中,假设 :对于任意的函数 f f f,一阶优化对于一个点称为全局解来说是充分的。进一步的,对于任意可解的泛函类 F \mathfrak{F} F的主要特征是:存在用简单的方法来校验包含关系 f ∈ F f\in \mathfrak{F} f∈F的可能。
下面引入两个假设:
1. 如果 f 1 , f 2 ∈ F f_1, f_2\in \mathfrak{F} f1,f2∈F,并且 α , β ≥ 0 \alpha,\beta \geq 0 α,β≥0,那么 α f 1 + β f 2 ∈ F \alpha f_1+\beta f_2\in \mathfrak{F} αf1+βf2∈F.
2. 任何线性函数 f ( x ) = α + ⟨ a , x ⟩ f(x)=\alpha+\langle a,x\rangle f(x)=α+⟨a,x⟩属于 F \mathfrak{F} F.
下面考虑函数 f ∈ F f\in \mathfrak{F} f∈F, x 0 ∈ R n x_0\in \mathbb{R}^n x0∈Rn,函数 Φ ( y ) = f ( y ) − ⟨ ∇ f ( x 0 ) , y ⟩ \Phi(y)=f(y)-\langle \nabla f(x_0),y\rangle Φ(y)=f(y)−⟨∇f(x0),y⟩。因为 Φ ′ ( y ) ∣ y = x 0 = ∇ f ( x 0 ) − ∇ f ( x 0 ) = 0 \Phi'(y)|_{y=x_0}=\nabla f(x_0)-\nabla f(x_0)=0 Φ′(y)∣y=x0=∇f(x0)−∇f(x0)=0,结合上面的假设,得到 x 0 x_0 x0是函数 Φ \Phi Φ的全局最小,因此,对于任意的 y ∈ R n y \in \mathbb{R}^n y∈Rn,有 Φ ( y ) ≥ Φ ( x 0 ) = f ( x 0 ) − ⟨ ∇ f ( x 0 ) , x 0 ⟩ \Phi(y)\geq \Phi(x_0)=f(x_0)-\langle \nabla f(x_0),x_0\rangle Φ(y)≥Φ(x0)=f(x0)−⟨∇f(x0),x0⟩,因此得到式子:
f ( y ) ≥ f ( x 0 ) + ⟨ ∇ f ( x 0 ) , y − x 0 ⟩ f(y)\geq f(x_0)+\langle \nabla f(x_0),y-x_0\rangle f(y)≥f(x0)+⟨∇f(x0),y−x0⟩,该不等式定义了一类可微的凸函数。
定义:一个连续可微的函数 f ( x ) f(x) f(x)称为在 R n \mathbb{R}^n Rn上是凸的,当且仅当,对于