凸优化简介10

光滑函数和强凸函数

1. ${\mathfrak{F}}_L^{1,1}({\mathbb{R}}^n)$类函数

和一般的非线性函数一样，可微性不能保证凸函数的任何特别的拓扑属性。因此，需要考虑Lipschitz连续导数的问题类。考虑凸函数类 ${\mathfrak{F}}_L^{k,l}({\mathbb{R}}^n)$，下面主要是属于 ${\mathfrak{F}}_L^{1,1}({\mathbb{R}}^n)$类的函数，该类函数具有Lipschitz连续梯度。

定理：如果对于所有的 $x,y\in {\mathbb{R}}^n$和 $a\in [0,1]$，则下面任一条件等价于包含关系 $f\in {\mathfrak{F}}_L^{1,1}({\mathbb{R}}^n)$

1. $0\le f(y)-f(x)-⟨\nabla f(x),y-x⟩\le \frac{L}{2}\Vert x-y{\Vert }^2$
2. $f(x)+⟨\nabla f(x),y-x⟩+\frac{1}{2L}\Vert \nabla f(x)-\nabla f(y){\Vert }^2\le f(y)$
3. $\frac{1}{L}\Vert \nabla f(x)-\nabla f(y){\Vert }^2\le ⟨\nabla f(x)-\nabla f(y),x-y⟩$
4. $⟨\nabla f(x)-\nabla f(y),x-y⟩\le L\Vert x-y{\Vert }^2$
5. $af(x)+(1-a)f(y)\ge f(ax+(1-a)y)+\frac{a(1-a)}{2L}\Vert \nabla f(x)-\nabla f(y){\Vert }^2$
6. $af(x)+(1-a)f(y)\le f(ax+(1-a)y)+a(1-a)\frac{L}{2}\Vert x-y{\Vert }^2$.

证明1：参考凸优化简介4第2部分的推导过程
证明2：设函数 $\varphi (y)=f(y)-⟨\nabla f(x_0),y⟩$，设最优值点是 $y^{\ast }$，根据式1得到：
$\varphi (y^{\ast })\le \varphi (y-\frac{1}{L}{\varphi }^{\prime }(y))\le \varphi (y)-\frac{1}{2L}\Vert {\varphi }^{\prime }(y){\Vert }^2$
ϕ ( y ∗ ) ≤ ϕ ( y ) − 1 2 L ∥ ϕ ′ ( y ) ∥ 2 ⇒ f ( x 0 ) − ⟨ ∇ f ( x 0 ) , x 0 ⟩ ≤ f ( y ) − ⟨ ∇ f ( x 0 ) , y ⟩ − 1 2 L ∥ ϕ ′ ( y ) ∥ 2 ⇒ f ( x 0 ) + ⟨ f ( x 0 ) , y − x 0 ⟩ + 1 2 L ∥ ϕ ′ ( y ) ∥ 2 ≤ f (