次梯度与次梯度算法

次梯度与次梯度算法

对于可微函数可以定义梯度，但是对于一般的函数，梯度不一定存在。对于凸函数，类比梯度的一阶性质，我们引入次梯度的概念，其在凸优化算法设计与理论分析中扮演者重要角色。

一、次梯度定义
设$f$为适当凸函数，$x$为$f$定义域中的一点，若向量$g\in R^n$满足
$$f(y)\ge f(x)+g^T(y-x),\forall y\in domf\text{\hspace{1em}(1)}$$
则称$g$为函数$f$在点$x$处的一个次梯度。进一步地，称集合
∂ f ( x ) = { g ∣ g ∈ R n , f ( y ) ≥ f ( x ) + g T ( y − x ) } (2) \partial f(x)=\{g|g\in R^n,f(y)\ge f(x) + g^T(y-x)\}\tag{2} ∂f(x)={ g∣g∈Rn,f(y)≥f(x)+gT(y−x)}(2)
为$f$在点$x$处的次微分.如图1所示

对于函数$f(x)$，$g_1$为点$x_1$处的唯一次梯度，而$g_2,g_3$为点$x_2$处的两个不同的次梯度。
从次梯度的定义可以看出，次梯度实际上借鉴了凸函数判定定理的一阶条件。定义次梯度的初衷之一也是希望它具有类似于梯度的一些性质。

二、次梯度的性质
性质1：设$f(x)$在$x_0\in intdomf$可微，则 ∂ f ( x 0 ) = { ∇ f ( x 0 ) } \partial f(x_0)=\{\nabla f(x_0)\} ∂f(x0​)={ ∇f(x0​)}
性质2：次梯度的单调性
设$f:R^n\to R$为凸函数，$x,y\in domf$，则
$$(u-v{)}^T(x-y)\ge 0$$
其中$u\in \partial f(x),v\in \partial f(y)$
性质3：凸函数的非负线性组合
设$f_x,f_2$为凸函数，且满足二者定义域交集非空，若$x\in dom{f}_1\cap dom{f}_2$， 且$f(x)={\alpha }_1{f}_1(x)+\alpha 2f_2(x)$，则$f(x)$的次微分 ∂ f ( x ) = α 1 ∂ f 1 ( x ) + α 2 ∂