4.3 Accelerated proximal gradient method:
加速近端梯度方法:
基本的近端梯度方法的所谓的“加速”版本,就是在算法中包含了一个外推(extrapolation)步骤,一个简单的版本是:
yk+1:=xk+ωk(xk−xk−1)
xk+1:=proxλkg(yk+1−λk▽f(yk+1))
其中 ωk∈[0,1)是外推参数, λk是一般的步长。这些参数必须以特定的方式进行选择才能达到收敛加速的效果。一个简单的选择是:
ωk=kk+3
仍然需要选择步长 λk。
当 ▽f是Lipschitz连续,其常数为 L。当使用固定步长 λk=λ∈(0,1/L]时,该算法收敛速度为 O(1/k2)。如果 L未知的话,使用线性搜索确定步长 λk。