次梯度算法介绍

系列文章目录

最优化笔记，主要参考资料为《最优化：建模、算法与理论》

---

---

我们知道梯度下降法的前提为目标函数 $f(x)$ 是一阶可微的. 在实际应用中经常会遇到不可微的函数，对于这类函数我们无法在每个点处求出梯度，但往往它们的最优值都是在不可微点处取到的. 次梯度算法不用知道每个点的梯度，转而求其次梯度，能处理函数不可微的情形.

一、次梯度

1 定义

我们知道可微凸函数$f$ 的一阶条件：

$$f(y)\ge f(x)+\nabla f(x{)}^{\mathrm{T}}(y-x)$$

类比可微凸函数的一阶条件，可以给出函数（不一定可微）次梯度的定义.设$f$为适当凸函数，$x\in \mathbf{dom}f$.若向量$g\in {\mathbb{R}}^n$ 满足

$$f(y)\ge f(x)+g^{\mathrm{T}}(y-x),$$
则称g 为函数$f$ 在点$x$处的一个次梯度.进一步地，称集合
∂ f ( x ) = { g ∣ g ∈ R n , f ( y ) ≥ f ( x ) + g T ( y − x ) , ∀ y ∈ d o m f } \partial f( x) = \{ g\mid g\in \mathbb{R} ^n, f( y) \geq f( x) + g^{\mathrm{T} }( y- x) , \forall y\in \mathbf{dom}f\} ∂f(x)={g∣g∈Rn,f(y)≥f(x)+gT(y−x),∀y∈domf}
为$f$ 在点$x$ 处的次微分.

由以上定义可得：

1. $f(x)+g^{\mathrm{T}}(y-x)$是$f(y)$的一个全局下界.
2. 如果$f$是可微的，则$\nabla f(x)$是$x$处的次梯度.

可以看到次梯度的定义包含了可微和不可微的情形，通常不可微点处次梯度不止一个，如下面例所示：

2 存在性

定理（次梯度存在性）

设$f$为凸函数，dom $f$为其定义域，如果$x\in \mathrm{intdom}f$, 则$\partial f(x)$是非空的.其中$\mathrm{intdom}f$的含义是集合dom $f$的所有内点.

• 也就是说只要是定义域中的内点，次梯度一定存在.

二、次梯度的计算

1 按定义计算

对于绝对值函数，只有在$x=0$处不可微，用定义计算其次梯度：
$$\begin{gathered} f(y)\ge f(0)+g(y-0),\forall y\in R \\ \Rightarrow |y|\ge g\cdot y \\ \Rightarrow -1\le g\le 1 \end{gathered}$$

2 常用计算规则

也就是，交点处的次微分为两直线斜率的凸组合。

三、最优性条件

1 无约束优化问题

2 约束优化问题

KKT条件写出来，再加上第4条（当对偶变量固定时，拉格朗日函数去最小值）。

四、次梯度算法

1 迭代格式

• 次梯度算法不是下降方法，即无法保证$f(x^{k+1})<f(x^k)$.

2 收敛性

假设条件：

和梯度法不同，若$f(x)$满足上述条件，只有当${\alpha }_k$取消失步长时${\hat{f}}^k$才具有收敛性，一个常用的步长取法${\alpha }_k=\frac{1}{k}$.若$\Vert x^0-x^{\ast }\Vert \le R$和$\Vert g^i\Vert \le G$, 可以得到
$$|{\hat{f}}^k(x)-f^{\ast }|\le \frac{GR}{\sqrt{k}}.$$
也就是说次梯度法收敛性为$O(\frac{1}{\sqrt{k}})$的，相较于梯度法更慢，但是可以处理不可微的函数。

参考资料

1. 刘浩洋、户将、李勇锋、文再文. 最优化：建模、算法与理论. 高教出版社, 2022.
2. http://faculty.bicmr.pku.edu.cn/~wenzw/