【源码】用随机平均梯度最小化有限和

我们分析了随机平均梯度（SAG）方法，以优化有限数量的光滑凸函数之和。

We analyze the stochastic average gradient(SAG) method for optimizing the sum of a finite number of smooth convexfunctions.

与随机梯度（SG）方法一样，SAG方法的迭代成本与总和中的项数多少无关。

Like stochastic gradient (SG) methods, theSAG method’s iteration cost is independent of the number of terms in the sum.

然而，通过引入以前存储的梯度值，SAG方法比黑盒SG方法实现了更快的收敛速度。

However, by incorporating a memory ofprevious gradient values the SAG method achieves a faster convergence rate thanblack-box SG methods.

进一步地，就梯度评价的数量而言，在很多情况下新方法的收敛速度也比黑盒的确定性梯度法更快。

Further, in many cases the convergence rateof the new method is also faster than black-box deterministic gradient methods,in terms of the number of gradient evaluations.

与本文相关的一个网站供参考：

https://www.cs.ubc.ca/~schmidtm/Software/SAG.html

下载英文原文及相关源码：

http://page2.dfpan.com/fs/dlc4j2d21529a16b7a1/

更多精彩文章请关注微信号：