近端梯度法（proximal gradient）

近端梯度法是一种求解不可微凸函数最优化问题的经典方法。其核心思想在于将不可微凸函数的最优化问题转换为易求解的proximal映射函数，从而实现近似求解。

一、proximal映射

proximal映射是近端梯度法的核心方法。假设约束函数$f(\mathbf{x})$的定义域为$\mathbf{U}$，定义自变量$\mathbf{x}$的proximal映射为：$$pro{x}_f(\mathbf{x})=\arg \underset{\mathbf{u}\in \mathbf{U}}{\min }(f(\mathbf{u})+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2),\forall \mathbf{x}\in \mathbf{U}$$通俗的讲，变量$\mathbf{x}$的proximal映射即为同定义域内，满足与之“欧式距离平方+约束函数$f$值”最小的变量值$\mathbf{u}$。

下面给出一些约束函数$f(\mathbf{x})$下的proximal映射案例：

1）常数函数

令$f(\mathbf{x})=c$，则有:
$$pro{x}_f(\mathbf{x})=\arg \underset{\mathbf{u}\in \mathbf{U}}{\min }(c+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2)$$显然，此时$pro{x}_f(\mathbf{x})=\mathbf{x}$

2）仿射函数

令$f(\mathbf{x})={\mathbf{a}}^T\mathbf{x}+\mathbf{b}$，则有：$$pro{x}_f(\mathbf{x})=\arg \underset{\mathbf{u}\in \mathbf{U}}{\min }({\mathbf{a}}^T\mathbf{u}+\mathbf{b}+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2)$$对$\mathbf{u}$求导，并另其为0，可得：$$pro{x}_f(\mathbf{x})=\mathbf{x}-\mathbf{a}$$

3）二次函数

令$f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+\mathbf{c}$，则有：$$pro{x}_f(\mathbf{x})=\arg \underset{\mathbf{u}\in \mathbf{U}}{\min }(\frac{1}{2}{\mathbf{u}}^{\mathbf{T}}\mathbf{A}\mathbf{u}+{\mathbf{b}}^T\mathbf{u}+\mathbf{c}+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2)$$对$\mathbf{u}$求导，并另其为0，可得：$$pro{x}_f(\mathbf{x})=(\mathbf{A}+\mathbf{I}{)}^{-1}(\mathbf{x}-\mathbf{b})$$

4）L1范数

令$f(\mathbf{x})=t||\mathbf{x}|{|}_1$，则有：$$pro{x}_f(\mathbf{x})=\arg \underset{\mathbf{u}\in \mathbf{U}}{\min }(t||\mathbf{u}|{|}_1+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2)$$注意到L1范数并非连续可导，这里需要用到次梯度的性质，将上述问题转化为：$$\begin{array}{rl}& 0\in \partial (t||\mathbf{u}|{|}_1+\frac{1}{2}||\mathbf{u}-\mathbf{x}|{|}_2^2)\\ \Rightarrow & \mathbf{x}-\mathbf{u}\in t\partial ||\mathbf{u}|{|}_1\end{array}$$对于上式而言，$\mathbf{u}$的各成分$u_i$并无耦合关系，所以可单独考虑每个$u_i$。根据$u_i$的取值符号进行分段考虑：

（a）若$u_i>0$
此时$\partial ||u_i|{|}_1=1$，因此：$$pro{x}_f(u_i)=x_i-t$$同时注意到$x_i-t=u_i>0$

（b）若$u_i<0$
此时$\partial ||u_i|{|}_1=-1$，因此：$$pro{x}_f(u_i)=x_i+t$$同时注意到$x_i+t=u_i<0$

（c）若$u_i=0$
此时$\partial |u_i|=[-1,1]$，因此$x_i-u_i\in [-t,t]$，即：$$|x_i-u_i|\le t$$综上，上述由proximal映射定义的优化问题的解为：$u_i=S_t(x_i)$，其中$S_t(\cdot )$被称为软阈值函数：$$S_t(x_i)=\{\begin{array}{l}{x}_i-t,if{x}_i>t\\ 0,if|x_i-u_i|\le t\\ x_i+t,,if{x}_i<-t\end{array}$$

二、近端梯度法

定义如下的无约束问题：$$\min f(\mathbf{x})=g(\mathbf{x})+h(\mathbf{x})$$其中$g(x)$为凸函数，且可微分；$h(x)$为凸函数（分解时应尽量简单），但不可微。

对于$g(\mathbf{x})$，在${\mathbf{x}}_k$处进行二阶泰勒展开的近似，可知存在值$t$，使得：$$g(\mathbf{x})=g({\mathbf{x}}_k)+\nabla g^T({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2t}(\mathbf{x}-{\mathbf{x}}_k{)}^T(\mathbf{x}-{\mathbf{x}}_k)$$因此，最优化问题可写为$$\begin{array}{rl}& \arg \underset{x}{\min }g({\mathbf{x}}_k)+\nabla g^T({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2t}(\mathbf{x}-{\mathbf{x}}_k{)}^T(\mathbf{x}-{\mathbf{x}}_k)+h(\mathbf{x})\\ =& \arg \underset{x}{\min }\frac{1}{2t}||\mathbf{x}-({\mathbf{x}}_k-t\nabla g({\mathbf{x}}_k))|{|}_2^2+h(\mathbf{x})\end{array}$$仔细观察上式，如果将${\mathbf{x}}_k-t\nabla g({\mathbf{x}}_k)$视为一个整体$\mathbf{z}$，同时忽略常系数，其本质上就是求其的proximal映射：$$pro{x}_h(\mathbf{z})=\frac{1}{2t}||\mathbf{x}-\mathbf{z}|{|}_2^2+h(\mathbf{x})$$由此，便得到了近段梯度法的迭代公式：$${\mathbf{x}}_{k+1}=\underset{h,t}{\mathrm{prox}}({\mathbf{x}}_k-t\nabla g({\mathbf{x}}_k))$$

三、近端梯度法在Lasso回归的应用

近段梯度法常被用于解决Lasso回归的优化问题：$$\arg \underset{\mathbf{W}}{\min }\frac{1}{2}||(\mathbf{X}\mathbf{W}-\mathbf{y})|{|}_2^2+\lambda ||\mathbf{W}|{|}_1$$其中损失函数第一项为可微凸函数，第二项为L1正则项，直接套用上文近段梯度法的迭代公式以及L1范数下的近段梯度，可得：$$w_i^{k+1}=\underset{h,w_i}{\mathrm{prox}}(w_i^k-{\mathbf{X}}_{\cdot ,i}^T(\mathbf{X}{\mathbf{W}}^{\mathbf{k}}-\mathbf{y})),h(w)=|w|$$且若$$|{\mathbf{X}}_{\cdot ,i}^T(\mathbf{X}{\mathbf{W}}^{\mathbf{k}}-\mathbf{y})|\le \lambda$$此时有$w_i=0$，这表明了L1正则化会导致系数的稀疏化。