Proximal Algorithms--Accelerated proximal gradient method

4.3 Accelerated proximal gradient method：

加速近端梯度方法：
基本的近端梯度方法的所谓的“加速”版本，就是在算法中包含了一个外推(extrapolation)步骤，一个简单的版本是：

yk+1:=xk+ωk(xk−xk−1)

xk+1:=proxλkg(yk+1−λk▽f(yk+1))

其中 ωk∈[0,1)是外推参数， λk是一般的步长。这些参数必须以特定的方式进行选择才能达到收敛加速的效果。一个简单的选择是：

ωk=kk+3

仍然需要选择步长 λk。
当 ▽f是Lipschitz连续，其常数为 L。当使用固定步长 λk=λ∈(0,1/L]时，该算法收敛速度为 O(1/k2)。如果 L未知的话，使用线性搜索确定步长 λk。

转载于:https://www.cnblogs.com/raby/p/5886694.html