807补充（九）（非光滑函数极值）

807补充（九）（非光滑函数极值篇）

现在考虑非平滑凸目标函数的最小化 ${\min }_{\mathbf{x}\in {\mathbb{R}}^n}f(\mathbf{x})$, 其中 $f$ 为凸函数, 但是非平滑函数, 不可微分。
非平滑目标函数的常见例子如 $\Vert \mathbf{x}{\Vert }_1,\Vert \mathbf{x}{\Vert }_{\infty },\Vert \mathbf{Ax}-\mathbf{b}{\Vert }_1$ 等。
由于非平滑函数 $f(\mathbf{x})$ 在 $\mathbf{x}$ 的梯度向量不存在, 所以基于梯度算法不适用。一个自然的问题是: 非平滑函数是否存在类似于梯度向量的某种 “广义梯度”?

一.次导数(subderivative)

定义：凸函数$f:\mathbb{R}\to \mathbb{R}$在点$x_0$的次导数，是实数$g$使得：
$$f(x)-f\left(x_0\right)\ge g\left(x-x_0\right)$$

对上式变形再取极限得
$$\begin{array}{r}\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f\left(x_0\right)}{x-x_0}⩽g,\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f\left(x_0\right)}{x-x_0}⩾g\end{array}$$

记
$$\begin{array}{rl}& a=\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f\left(x_0\right)}{x-x_0}\\ & b=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f\left(x_0\right)}{x-x_0}\end{array}$$
可知$g\in [a,b]$,当$a=b$时导数存在，即次导数$g=f^{\prime }(x_0)$

对于绝对值函数$y=|x|$,其次导数为
∂ ∣ x ∣ = { { − 1 } , x < 0 { + 1 } , x > 0 [ − 1 , 1 ] , x = 0 \partial|x|= \begin{cases}\{-1\}, & x<0 \\ \{+1\}, & x>0 \\ {[-1,1],} & x=0\end{cases} ∂∣x∣=⎩ ⎨ ⎧​{−1},{+1},[−1,1],​x<0x>0x=0​

二.次梯度（subgradient）

定义 设 $f$ 为凸函数, $\mathbf{x}$ 为定义域 $\mathrm{dom}f$ 中的一点.若向量 $\mathbf{g}\in {\mathbb{R}}^n$ 满足
$$f(\mathbf{y})⩾f(\mathbf{x})+{\mathbf{g}}^{\mathrm{T}}(\mathbf{y}-\mathbf{x}),\forall \mathbf{y}\in \mathrm{dom}f,$$
则称 $\mathbf{g}$ 为函数 $f$ 在点 $\mathbf{x}$ 处的一个次梯度.

显然, 若 $f$ 是凸函数和可微分, 则 $f$ 在 $\mathbf{x}$ 的梯度 $\nabla f(\mathbf{x})$ 即是一个次梯度向量。因此, 梯度向量是次梯度向量的特例。一般说来, 一函数在某点 $\mathbf{x}$ 的次梯度可能有多个。

因此称集合
$$\partial f(\mathbf{x})=\left\{\mathbf{g}\mid \mathbf{g}\in {\mathbb{R}}^n,f(\mathbf{y})⩾f(\mathbf{x})+g^{\mathrm{T}}(\mathbf{y}-\mathbf{x}),\forall \mathbf{y}\in \mathrm{dom}f\right\}$$
为 $\mathbf{f}$ 在点 $\mathbf{x}$ 处的次微分.

函数 $f(\mathbf{x})$ 称为在点 $\mathbf{x}$ 是可次微分的 (subdifferentiable), 若它至少存在一个次梯度向量。函数 $f$ 在定义域上是可次微分的, 若它在所有点 $\mathbf{x}\in \mathrm{dom}f$ 是可次微分的。

定理 (次梯度存在性) :设 $f$ 为凸函数, $\mathrm{dom}f$ 为其定义域. 如果 $\mathbf{x}\in \mathrm{int}\mathrm{dom}f$, 则 $\partial f(\mathbf{x})$ 是非空的, 其中 $\mathrm{int}\mathrm{dom}f$ 的含义是集合 $\mathrm{dom}f$ 的所有内点.

可以简单的认为凸函数一定存在次梯度。

定理 设 $f(\mathbf{x})$ 在 ${\mathbf{x}}_0\in \mathrm{int}\mathrm{dom}f$ 处可微, 则
∂ f ( x 0 ) = { ∇ f ( x 0 ) } . \partial f\left(\boldsymbol x_0\right)=\left\{\nabla f\left(\boldsymbol x_0\right)\right\} . ∂f(x0​)={∇f(x0​)}.

证明. 因$f(\mathbf{x})$是可微凸函数，则
$$f(\mathbf{y})⩾f({\mathbf{x}}_0)+\nabla f({\mathbf{x}}_0{)}^{\mathrm{T}}(\mathbf{y}-{\mathbf{x}}_0)$$
可知梯度 $\nabla f\left({\mathbf{x}}_0\right)$ 为次梯度.

下证 $f(\mathbf{x})$ 在点 $x_0$ 处不可能有其他次梯度. 设 $\mathbf{g}\in \partial f\left({\mathbf{x}}_0\right)$, 根据次梯度的定义, 对任意的非零 $\mathbf{v}\in {\mathbb{R}}^n$ 且 ${\mathbf{x}}_0+t\mathbf{v}\in \mathrm{dom}f,t>0$ 有
$$f\left({\mathbf{x}}_0+t\mathbf{v}\right)⩾f\left({\mathbf{x}}_0\right)+t{\mathbf{g}}^{\mathrm{T}}\mathbf{v}.$$

若 $\mathbf{g}\ne \nabla f\left({\mathbf{x}}_0\right)$, 取 $\mathbf{v}=\mathbf{g}-\nabla f\left({\mathbf{x}}_0\right)\ne 0$, 上式变形为
$$\frac{f\left({\mathbf{x}}_0+t\mathbf{v}\right)-f\left({\mathbf{x}}_0\right)-t\nabla f{\left({\mathbf{x}}_0\right)}^{\mathrm{T}}\mathbf{v}}{t\Vert \mathbf{v}\Vert }⩾\frac{{\left(\mathbf{g}-\nabla f\left({\mathbf{x}}_0\right)\right)}^{\mathrm{T}}\mathbf{v}}{\Vert \mathbf{v}\Vert }=\Vert \mathbf{v}\Vert .$$

不等式两边令 $t\to 0$, 根据 Fréchet 可微的定义, 左边趋于 0 , 而右边是非零正数, 可得到矛盾.

三.计算规则

我们不加证明地给出一些计算次梯度（次微分）的基本规则.

(1) 可微凸函数: 设 $f$ 为凸函数, 若 $f$ 在点 $x$ 处可微, 则 ∂ f ( x ) = { ∇ f ( x ) } \partial f(\boldsymbol x)=\{\nabla f(\boldsymbol x)\} ∂f(x)={∇f(x)}

(2) 凸函数的非负线性组合: 设 $f_1,f_2$ 为凸函数, 且满足
$$\text{ int dom }{f}_1\cap \mathrm{dom}{f}_2\ne \varnothing \text{, }$$

而 $\mathbf{x}\in \mathrm{dom}{f}_1\cap \mathrm{dom}{f}_2$. 若
$$f(\mathbf{x})={\alpha }_1{f}_1(\mathbf{x})+{\alpha }_2{f}_2(\mathbf{x}),{\alpha }_1,{\alpha }_2⩾0,$$

则 $f(\mathbf{x})$ 的次微分
$$\partial f(\mathbf{x})={\alpha }_1\partial f_1(\mathbf{x})+{\alpha }_2\partial f_2(\mathbf{x}).$$
(3) 仿射变换: 设 $h$ 为凸函数, 并且函数 $f$ 满足
$$f(\mathbf{x})=h(\mathbf{A}\mathbf{x}+\mathbf{b}),\forall \mathbf{x}\in {\mathbb{R}}^m,$$
其中 $\mathbf{A}\in {\mathbb{R}}^{n\times m},\mathbf{b}\in {\mathbb{R}}^n$. 若存在 ${\mathbf{x}}^{\ast }\in {\mathbb{R}}^m$, 使得 $\mathbf{A}{\mathbf{x}}^{\ast }+\mathbf{b}\in \mathrm{int}\mathrm{dom}h$,则
$$\partial f(\mathbf{x})={\mathbf{A}}^{\mathrm{T}}\partial h(\mathbf{A}\mathbf{x}+\mathbf{b}),\forall \mathbf{x}\in \mathrm{int}\mathrm{dom}f.$$
(4) 凸函数之和的次微分 若 $f_1,\cdots ,f_m$ 均为凸函数, 则函数 $f(\mathbf{x})=f_1(\mathbf{x})+\cdots +$ $f_m(\mathbf{x})$ 的次微分
$$\partial f(\mathbf{x})=\partial f_1(\mathbf{x})+\cdots +\partial f_m(\mathbf{x})$$
(5) 逐点极大函数的次微分 令 $f$ 是凸函数 $f_1,\cdots ,f_m$ 的逐点极大函数, 即
$$f(\mathbf{x})=\underset{i=1,\cdots ,m}{\max }{f}_i(\mathbf{x})$$

则
∂ f ( x ) = conv ⁡ ( ⋃ { ∂ f i ( x ) ∣ f i ( x ) = f ( x ) } ) \partial f(\boldsymbol{x})=\operatorname{conv}\left(\bigcup\left\{\partial f_i(\boldsymbol{x}) \mid f_i(\boldsymbol{x})=f(\boldsymbol{x})\right\}\right) ∂f(x)=conv(⋃{∂fi​(x)∣fi​(x)=f(x)})

即逐点极大函数 $f$ 的次微分是 “作用函数” (active function) $f_i(\mathbf{x})$ 在点 $\mathbf{x}$ 的次微分的并集的凸包。

当$\mathbf{x}={\mathbf{x}}_0$时，$f({\mathbf{x}}_0)=f_1({\mathbf{x}}_0)=f_2({\mathbf{x}}_0)$,所以$\partial f({\mathbf{x}}_0)=\text{conv}(\partial f_1({\mathbf{x}}_0)\bigcup \partial f_2({\mathbf{x}}_0))$,即$f_1(\mathbf{x}),f_2(\mathbf{x})$在${\mathbf{x}}_0$处的次微分形成的凸包（图上红色阴影部分）

$y=|x|=\text{max}(-x,x)$,利用性质（5）即可得出$y$在$0$点处的次微分为

$\text{conv}(-1\bigcup 1)=[-1,1]$

$({\ell }_1$ 范数 $)$ 定义 $f:{\mathbb{R}}^n\to \mathbb{R}$ 为 ${\ell }_1$ 范数, 则对 $\mathbf{x}=\left(x_1,x_2,\cdots ,x_n\right)\in$ ${\mathbb{R}}^n$, 有
f ( x ) = ∥ x ∥ 1 = max ⁡ s i ∈ { − 1 , 1 } n s T x . f(x)=\|\boldsymbol x\|_1=\max _{\boldsymbol s_i \in\{-1,1\}^n} \boldsymbol s^{\mathrm{T}} \boldsymbol x . f(x)=∥x∥1​=si​∈{−1,1}nmax​sTx.
于是
∂ f ( x ) = [ ∂ f ( x 1 ) , ∂ f ( x 1 ) , ⋯   , ∂ f ( x n ) ] T ∂ f ( x k ) = { [ − 1 , 1 ] , x k = 0 , { 1 } , x k > 0 , { − 1 } , x k < 0. \partial f(\boldsymbol x)= \begin{bmatrix} \partial f( x_1),\partial f( x_1),\cdots,\partial f( x_n) \end{bmatrix}^\mathrm T \\ \partial f( x_k)=\left\{\begin{array}{rr} {[-1,1],} & x_k=0, \\ \{1\}, & x_k>0, \\ \{-1\}, & x_k<0 . \end{array}\right. ∂f(x)=[∂f(x1​),∂f(x1​),⋯,∂f(xn​)​]T∂f(xk​)=⎩ ⎨ ⎧​[−1,1],{1},{−1},​xk​=0,xk​>0,xk​<0.​
( ${\ell }_2$ 范数) 设 $f(\mathbf{x})=\Vert \mathbf{x}{\Vert }_2$, 则 $f(\mathbf{x})$ 在点 $\mathbf{x}=0$ 处不可微, 我们求其在该点处的次梯度. 由定义得
$$\begin{array}{rl}\Vert \mathbf{x}{\Vert }_2& ⩾{\mathbf{g}}^{\top }\mathbf{x}\\ & \Updownarrow \\ \Vert \mathbf{x}{\Vert }_2& ⩾\Vert \mathbf{g}{\Vert }_2\Vert \mathbf{x}{\Vert }_2\cos \theta \\ & \Updownarrow \\ 1& ⩾\Vert \mathbf{g}{\Vert }_2\cos \theta \\ & \Updownarrow \\ 1& ⩾\Vert \mathbf{g}{\Vert }_2\\ & \end{array}$$

因此
∂ f ( 0 ) = { g ∣ ∥ g ∥ 2 ⩽ 1 } . \partial f(0)=\left\{\boldsymbol g \mid\|\boldsymbol g\|_2 \leqslant 1\right\} . ∂f(0)={g∣∥g∥2​⩽1}.

四.优化问题一阶条件

定理 假设 $f$ 是凸函数, 则 ${\mathbf{x}}^{\ast }$ 为$f(\mathbf{x})$ 的一个全局极小点当且仅当
$$0\in \partial f\left({\mathbf{x}}^{\ast }\right).$$

证明. 因为 ${\mathbf{x}}^{\ast }$ 为全局极小点, 所以
$$f(\mathbf{y})⩾f\left({\mathbf{x}}^{\ast }\right)=f\left({\mathbf{x}}^{\ast }\right)+0^{\mathrm{T}}\left(\mathbf{y}-{\mathbf{x}}^{\ast }\right),\forall \mathbf{y}\in {\mathbb{R}}^n.$$

因此, $0\in \partial f\left({\mathbf{x}}^{\ast }\right)$.
再证充分性. 如果 $0\in \partial f\left({\mathbf{x}}^{\ast }\right)$, 那么根据次梯度的定义
$$f(\mathbf{y})⩾f\left({\mathbf{x}}^{\ast }\right)+0^{\mathrm{T}}\left(\mathbf{y}-{\mathbf{x}}^{\ast }\right)=f\left({\mathbf{x}}^{\ast }\right),\forall \mathbf{y}\in {\mathbb{R}}^n.$$

因而 ${\mathbf{x}}^{\ast }$ 为一个全局极小点.(注意并未保证这样的解唯一，最小值唯一但最优解不一定唯一，例如$y=\text{max}(x,0)$,仅当$f$是强凸函数时解才唯一)

在实际问题中, 目标函数不一定是凸函数, 但它可以写成一个光滑函数与一个非光滑凸函数的和, 比如 LASSO 问题; 也可能是非凸的, 例如神经网络的损失函数. 因此研究此类问题的最优性条件十分必要. 这里, 我们考虑一般复合优化问题
$$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }\psi (\mathbf{x})\stackrel{\text{ def }}{=}f(\mathbf{x})+h(\mathbf{x}),$$

其中 $f$ 为光滑函数 (可能非凸),$h$ 为凸函数 (可能非光滑). 对于其任何局部最优解, 我们给出如下一阶必要条件:

定理 (复合优化问题一阶必要条件) 令 ${\mathbf{x}}^{\ast }$ 为问题 ${\min }_{\mathbf{x}\in {\mathbb{R}}^n}\psi (\mathbf{x})\stackrel{\text{ def }}{=}f(\mathbf{x})+h(\mathbf{x})$ 的一个局部极小点, 那么
$$-\nabla f\left({\mathbf{x}}^{\ast }\right)\in \partial h\left({\mathbf{x}}^{\ast }\right),$$

其中 $\partial h\left({\mathbf{x}}^{\ast }\right)$ 为凸函数 $h$ 在点 ${\mathbf{x}}^{\ast }$ 处的次梯度集合.

五.例

• ${\ell }_1$ 范数优化问题

其形式可以写成

$$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }\psi (\mathbf{x})\stackrel{\text{ def }}{=}f(\mathbf{x})+\mu \Vert \mathbf{x}{\Vert }_1,$$

​ 其中 $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ 为光滑函数, 正则系数 $\mu >0$ 用来调节解的稀疏度，尽管 $\Vert \mathbf{x}{\Vert }_1$ 不是可微的, 但我们可以计算其次微分
∂ i ∥ x ∥ 1 = { { 1 } , x i > 0 , [ − 1 , 1 ] , x i = 0 , { − 1 } , x i < 0. \partial_i\|x\|_1= \begin{cases}\{1\}, & x_i>0, \\ {[-1,1],} & x_i=0, \\ \{-1\}, & x_i<0 .\end{cases} ∂i​∥x∥1​=⎩ ⎨ ⎧​{1},[−1,1],{−1},​xi​>0,xi​=0,xi​<0.​

​ 因此, 如果 $x^{\ast }$ 一个局部最优解, 那么其满足
$$-\nabla f\left({\mathbf{x}}^{\ast }\right)\in \mu \partial {\Vert {\mathbf{x}}^{\ast }\Vert }_1,$$
​ 即
$${\nabla }_{i}f\left(x^{\ast }\right)=\{\begin{array}{ll}-\mu ,& x_i^{\ast }>0,\\ a\in [-\mu ,\mu ],& x_i^{\ast }=0,\\ \mu ,& x_i^{\ast }<0.\end{array}$$

​ 进一步地, 如果 $f(x)$ 是凸的（比如在 LASSO 问题中 $f(x)=\frac{1}{2}\Vert Ax-b{\Vert }^2$ ), 那么满足上式的 $x^{\ast }$ 就是全局最优解.

• 平均绝对误差（mae）

  其中$\mathbf{x}\in {\mathbb{R}}^n$,设 $\left\{x_{(1)}^j,\cdots x_{(n)}^j\right\}=\left\{x_1^j,\cdots x_n^j\right\}$,其形式可以写为
  $$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }y(\mathbf{x})\stackrel{\text{ def }}{=}\sum _i^N|\mathbf{x}-{\mathbf{x}}_{(i)}|=\sum _i^N\sum _j^n|x^j-x_{(i)}^j|=\sum _j^n\sum _i^N|x^j-x_{(i)}^j|,$$
  由于彼此维度无关，则优化问题可以写为关于每一维标量优化，计算其次微分得
  $$\begin{array}{rl}\partial y(x^j)& =\{\begin{array}{ll}1,& x^j⩾x_{(1)}^j\\ [-1,1],& x^j=x_{(1)}^j\\ -1,& x^j⩽x_{(1)}^j\end{array}+\cdots +\{\begin{array}{ll}1,& x^j⩾x_{(N)}^j\\ [-1,1],& x^j=x_{(N)}^j\\ -1,& x^j⩽x_{(N)}^j\end{array}\end{array}$$
  又因
  $$0\in \partial y\left(x^j\right).$$

  所以当N为奇数时，有唯一解即为中位数，当N为偶数时，$x^j\in [x_{[\frac{N}{2}]}^j,x_{[\frac{N}{2}]+1}^j]$都是其最优解。即mae偏向于回归中位数