次梯度法

在前文梯度下降法（一）从导数到梯度下降法的基本逻辑中指出，当函数梯度不存在时候，梯度下降法失效，而次梯度法则是凸优化中解决此类状况的一种有效方法。

一、基本定义

为了介绍次梯度的概念，首先需要引入次导数、次微分等概念。这些概念源于导数、微分，但又有显著的区别。

1. 次导数

下图中的一元函数均为凸函数，但在其拐点处不可导。观察拐点A、B处的直线，按照其与原始函数的位置关系，可分为如下两大类：
1）与原始函数相交，在不同自变量区间内，直线与原始函数的上下关系不确定
2）与原始函数在某点相交，但除了接触的若干点外，均在原始函数的下方

对于上述的第二类直线的导数，我们可以为原始函数在该点处的次导数。
用更加符号化的语言描述：对于一元函数$y=f(x)$，在其上的点$(x_0,y_0)$处，若存在某个常数$c$，使得在对于整个定义域内的$x$，均满足$f(x)-f(x_0)\ge c(x-x_0)$，则值$c$就是函数$f(x)$在点$x_0$处的一个次导数。

从几何直观上看（如上图）：次导数方向的直线均在原始函数的下方。次导数方向的直线可视为原始函数的一个下界函数。

显然，对于一个一元凸函数，其在某点处的次导数往往存在多个（无穷个），这些次导数的集合即为次微分。特殊的，若该点可微，则次导数唯一，即为导数。

以函数$f=|x|$在$(0,0)$点处的次导数为例：
此时函数的左导数为：$\underset{x\to -x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}=-1$
函数的右导数为：$\underset{x\to +x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}=1$
因此其次导数的取值范围为$[-1,1]$，这种计算方式可推广到其它函数。

2. 次梯度

将一元凸函数中的次梯度在多元凸函数中进行推广，则得到次梯度的数学概念：对于多元凸函数$y=f(\mathbf{x})$，在其上的点$({\mathbf{x}}_0,{\mathbf{y}}_0)$处，若存在某个向量$\mathbf{g}$，使得在对于整个定义域内的$\mathbf{x}$，均满足$f(\mathbf{x})-f({\mathbf{x}}_0)\ge {\mathbf{g}}^T(\mathbf{x}-{\mathbf{x}}_0)$，则向量$\mathbf{g}$就是函数$f(\mathbf{x})$在点${\mathbf{x}}_0$处的一个次梯度。

从几何直观上，次梯度向量构成的超平面始终在原始函数的下方。次梯度向量构成的超平面可视为原始函数的一个下界函数。

对于多元凸函数，其在任意点处的次梯度是始终存在的。特殊的，当函数在该点处可微时，次梯度即为梯度$\nabla f({\mathbf{x}}_0)$。

3. 次微分

次微分可视作次梯度的集合： ∂ f ( x 0 ) = { g ∣ f ( x ) − f ( x 0 ) ≥ g T ( x − x 0 ) } \partial f(\boldsymbol x_0)=\{\boldsymbol g|f(\boldsymbol x)-f(\boldsymbol x_0)\ge \boldsymbol g^T(\boldsymbol x-\boldsymbol x_0)\} ∂f(x0​)={g∣f(x)−f(x0​)≥gT(x−x0​)}

次微分有如下的重要性质和运算方法：
1）若凸函数$f(\mathbf{x})$在${\mathbf{x}}^{\ast }$处取得最小值，则向量$0$必为${\mathbf{x}}^{\ast }$处的次梯度，即$0\in \partial f({\mathbf{x}}^{\ast })$。
证明：因为函数$f(\mathbf{x})$在${\mathbf{x}}^{\ast }$处取得最小值，所以$f(\mathbf{x})-f({\mathbf{x}}_0)\ge 0$，若取$\mathbf{g}=0$，则满足次微分的定义，因此该结论成立。

2）$\partial (\alpha f)=\alpha \partial (f)$
3) $\partial (f+g)=\alpha \partial (f)+\alpha \partial (g)$
4) $\partial f(\mathbf{A}\mathbf{x}+\mathbf{b})={\mathbf{A}}^T\partial f(\mathbf{x})$

二、次梯度优化算法

2.1 基本迭代公式

将梯度下降法中的梯度下降方向换为次梯度方向，即可得到次梯度迭代方法：$$\mathbf{x}:=\mathbf{x}-\lambda \mathbf{g}(\mathbf{x}),\mathbf{g}\in \partial f(\mathbf{x})$$式中$\lambda$为步长。

值的注意的是：若随意选$\mathbf{g}$，则沿着次梯度方向前进一小步有可能使得结果变得更差（如第一部分图中的b所示），所以次梯度优化并不一定是一个下降的方法。

在实际操作中，每步迭代的最终解应当是在所有迭代方案出现过的最优解，即：$$f({\mathbf{x}}_{best}^k)=\underset{\mathbf{g}}{\min }(f(\mathbf{x})-\lambda g(\mathbf{x}))$$

2.2 收敛性

如上所述，既然次梯度优化不能保证其每步一定是下降的方法，那利用其求解最优化问题有无保证？

这里不加详细推导的直接给出结论：
在函数$f$满足Lipschitz 条件下，可以证明次梯度优化是可以收敛到最优解处的。Lipschitz 条件如下：$$|f(x)-f(y)|\le G||x-y|{|}_2$$如果所需的精度为$ϵ$，其收敛速度为$O(1/{ϵ}^2)$。这说明，次梯度优化的速度很慢。

2.3 步长选择

和梯度下降法一样，其步长选择的常见策略有两种：
（1）固定步长
（2）选择不断减小的步长，但是步长也不能减少的很快，常用的一种方式是使得步长满足：$$\sum _{k=1}^{\infty }{t}_k^2<\infty ,\sum _{k=1}^{\infty }{t}_k=\infty$$