Accelerated Proximal Gradient Method/FISTA

机器学习中的优化问题是一个长久而古老的问题，下面介绍一种经典方法：

APG方法(或者称为FISTA方法)的步骤为：

迭代复杂度为：

$F({\alpha }^k)-F(\alpha )\le O(\frac{1}{k^2})$.

step3中等式第二项称为momentum of sequence { α k } k = 1 ∞ \{\alpha_{k}\}_{k=1}^{\infty} {αk​}k=1∞​.

尽管APG方法具有很强的迭代复杂度，但对于实际应用来说，它仍然不够有效。在下面，我们描述了几种著名的策略，使APG方法实际有效。

1.Backtracking Strategy

2.Decreasing Strategy for $L_k$.

3. Restarting Strategy