近端梯度法(Proximal Gradient Method, PG)

近端梯度法（Proximal Gradient Method ，PG）

算法简介

  近端梯度法是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。如果目标函数在某些点是不可微的，那么该点的梯度无法求解，传统的梯度下降法也就无法使用。PG算法的思想是，使用临近算子作为近似梯度，进行梯度下降。

---

概念定义

临近算子（proximity operator）

$$prox_f(x)=arg\min_{y\in R^n}f(y)+\frac{1}{2}||x-y||^2$$

  其中函数f可能是非光滑（即不可微）的。临近算子是对梯度的延伸，当函数f为光滑函数时，该临近算子就是梯度。

Morean信封（Morean envelope）

$$e_f(x)=\min_{y\in R^n}f(y)+\frac{1}{2}||x-y||_2^2$$

  （这个玩意儿好像现在挺火，不过下文貌似没用到）

集合X的指示函数（indicator function of X）

$$l_X(x)=\left\{ \begin{aligned}&0,\quad x\in X\\&\infty, \quad x\notin X \end{aligned} \right.$$

  其中X是一个凸集合。利用指示函数，我们可以将有约束问题写成无约束问题,如下：

$$\min_{x\in X}g(x) \iff \min_{x\in R^n}g(x)+l_X(x)$$
  当x不在X中，等式为无穷大，因此x肯定不是最优值。因此就等于限定了x在凸集合X中。

投影算子（projection operator）

projX(x)=argminy∈X||y−x||2=argminy∈<