带L1正则化项的近似梯度下降

摘录自：http://breezedeus.github.io/2013/11/16/breezedeus-proximal-gd.html

Proximal Gradient Descent for L1 Regularization

Nov 16, 2013

假设我们要求解以下的最小化问题：

minxf(x)  。

如果 f(x) 可导，那么一个简单的方法是使用Gradient Descent (GD)方法，也即使用以下的式子进行迭代求解：

xk+1:=xk−α∇f(xk)  。

对GD的一种解释是 xk 沿着当前目标函数的下降方向走一小段，只要步子足够小，总能保证得到 f(xk+1)≤f(xk) 。

如果 ∇f(x) 满足L-Lipschitz条件，即：

∥∇f(x′)−∇f(x)∥≤L∥x′−x∥  ，

那么我们可以在点 xk 附近把 f(x) 近似为：

f^(x,xk)≜f(xk)+⟨∇f(xk),x−xk⟩+L2∥x−xk∥22  。

把上面式子中各项重新排列下，可以得到：

f^(x,xk)≜f(xk)+⟨∇f(xk),x−xk⟩+L2∥x−xk∥22=L2∥x−(xk−1L∇f(xk))∥22+φ(xk)  。

显然 f^(x,xk) 的最小值在

xk+1=xk−1L∇f(xk)

获得。所以，从这个角度上看的话，GD的每次迭代是在最小化原目标的一个二次近似函数。

在很多最小化问题中，我们往往会加入非光滑的惩罚项 g(x) ，比如常见的L1惩罚： g(x)=∥x∥1 。这个时候，GD就不好直接推广了。但上面的二次近似思想却可以推广到这种情况：

xk+1=argminxF^(x,xk)=argminxL2∥x−(xk−1L∇f(xk))∥22+g(x)  。

这就是所谓的Proximal Gradient Descent(PGD)算法¹。只要给定 g(x) 时下面的最小化问题能容易地求解，PGD就能高效地使用：

proxμg(z)=argminx12∥x−z∥22+μg(x)  。

比如 g(x)=∥x∥1 时， proxμg(z) 能够通过所谓的soft thresholding获得：

proxμg(z)=sign(z)max{∣z∣−μ, 0}  。

References

1. John Wright. Lecture III: Algorithms, 2013. ↩