深度学习优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

• SGD：每一次迭代计算数据集的mini-batch的梯度，然后对参数进行更新。
• Momentum：前几次的梯度参与到当前计算中来，但是会以一定程度的衰减进行叠加。
• AdaGrad：训练过程中自动变更学习速率，实际学习率与以往所有梯度的模和成反比。
• RMSProp：使用系数约束了历史梯度的影响，调整了学习率下降过快的情况。
• Adam：结合了Momentum和RMSProp，即考虑过往梯度的影响，又使用历史梯度的平方和动态调整学习率，利用梯度的一阶估计和二阶估计动态调整每个参数的学习速率。

公式

SGD：

Momentum：

AdaGrad：

RMSProp：


Adam：

细节内容推荐这篇博客：
https://blog.csdn.net/u010089444/article/details/76725843