次梯度（Subgradients）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

对于一个可微的凸函数$f$，其一阶特性有：
$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)$$

而当凸函数$f$是不可微的，我们也可以根据该性质来定义其次梯度。

次梯度

一个凸函数$f$在$x$的次梯度$g$定义为：
$$f(y)\ge f(x)+g^T(y-x)$$

次梯度的一些特性：

1. 总是存在于定义域$dom(f)$的内部；
2. 如果$f$在$x$是完全可微的，那么其存在唯一的次梯度$g=\nabla f(x)$；
3. 该次梯度的定义也可以推广到非凸函数中，但非凸函数的次梯度$g$可能不存在。

例子：考虑函数$f:R\to R$的形式为$f(x)=|x|$，其在$x=0$处有一个不可微的点。

• 对于$x\ne 0$,其次梯度是唯一的且为$g=sign(x)$；
• 对于$x=0$，其次梯度可以是$[-1,1]$区间中的任意一个数。

次微分

凸函数$f$的所有亚梯度组成的集合叫做次微分（subdifferential）:
∂ f = { g ∈ R n : g   i s   a   s u b g r a d i e n t   o f   f   a t   x } \partial f=\{g\in R^n: g\ {\rm is\ a\ subgradient\ of}\ f\ {\rm at}\ x\} ∂f={g∈Rn:g is a subgradient of f at x}

次微分的一些性质：

• 非空（仅仅对于凸函数）；
• $\partial f(x)$是封闭且凸的（即使对于非凸函数也成立）；
• 如果$f$在$x$点是可微的，则 ∂ f ( x ) = { ∇ f ( x ) } \partial f(x)=\{\nabla f(x)\} ∂f(x)={∇f(x)}；
• 如果 ∂ f ( x ) = { g } \partial f(x)=\{g\} ∂f(x)={g}，那么$f$在$x$点是可微的，且$\nabla f(x)=g$。

最优化条件

对于任意$f$（无论是不是凸函数）都有，
$$f(x^{\ast })=\underset{x}{\min }f(x)\iff 0\in \partial f(x^{\ast })$$

也就是说，$x^{\ast }$是最小值点当且仅当0是$f$在$x^{\ast }$点的一个亚梯度。

例子：软阈值
对于一个lasso问题，令$X=I$将问题简化可得到：
$$\underset{\beta }{\min }\frac{1}{2}\Vert y-\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1$$

其中，$\lambda >0$。利次梯度最优化条件可得：
$$\begin{array}{rl}0& \in \partial (\frac{1}{2}\Vert y-\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1)\\ & \iff 0\in y-\beta +\lambda \partial \Vert \beta {\Vert }_1\\ & \iff \{\begin{array}{rlr}& y_i-{\beta }_i=\lambda \cdot sign({\beta }_i)& ifbet{a}_i\ne 0\\ & |y_i-{\beta }_i|\le \lambda & ifbet{a}_i=0\end{array}\end{array}$$

则最优解可得$\beta =S_{\lambda }(y)$，其中$S_{\lambda }$叫做软阈值算子：
$$[S_{\lambda }(y){]}_i=\{\begin{array}{rlr}& y_i-\lambda & if{y}_i>\lambda \\ & 0& if-\lambda \le y_i\le \lambda \\ & y_i+\lambda & if{y}_i<-\lambda \end{array}$$

次梯度法

考虑一个定义域为$dim(f)=R^n$的凸函数$f$，但允许其可以是不可微的。类比于梯度下降法，次梯度法只是将其中的梯度替换为次梯度，其他步骤不变： 初始化$x^{(0)}$，然后重复:
$$x^{(k)}=x^{(k-1)}-t_k\cdot g^{(k-1)},k=1,2,3,...$$

其中$g^{k-1}\in \partial f(x^{(k-1)})$，是$f$在$x^{(k-1)}$的任意一个次梯度。
值得注意的是，次梯度法并不一定是下降的，因此需要跟踪每次迭代，从中找到最优的迭代次数：
$$f(x_{best}^{(k)})=\underset{i=0,...,k}{\min }f(x^{(i)})$$

步长的选择

次梯度法可以使用固定的步长，也可以随着迭代减小步长。但与梯度下降不同的是，次梯度法的步长需要提前设定，而不能自适应地计算得到。

收敛率分析

次梯度法有$O(1/{ϵ}^2)$的收敛率，其慢于梯度下降的$O(1/ϵ)$收敛率。

投影次梯度法

考虑有约束的优化问题，在一个凸集$C$上优化凸函数$f$：
$$\underset{x}{\min }f(x)subjecttox\in C$$

我们可以使用投影次梯度法（projected subgradient method）。在每次迭代中，首先像处理无约束问题一样，使用次梯度法进行求解，然后将得到的解投影到$C$上：
$$x^{(k)}=P_c(x^{(k-1)}-t_k\cdot g^{(k-1)}),k=1,2,3,...$$

其中，$P_c$是投影算子。假设我们总可以做投影，那么在相同步长下，可以得到与普通次梯度法相同的收敛率。

参考资料

CMU：Convex Optimization