「Deep Learning」Note on AMSGrad（比Adam好的优化算法）

QQ Group: 428014259
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80370826

今时今日，SGD是训练深度网络的首选利器。后来，提出了一堆变种算法，比如，ADAGRAD，RMSPROP，ADAM，ADADELTA，NADM等。

####基于指数滑动平均（exponential moving averages）的自适应方法
1、基于简单平均函数的ADAGrad
平均策略为：${\varphi }_t(g_1,...,g_t)=g_t$， ψ t ( g 1 , . . . , g t ) = d i a g ( ∑ i = 1 t ) g i 2 \psi_{t}(g_1,...,g_t)=\frac{diag(\sum_{i=1}^{t})}{g^2_{i}}