- SGD:每一次迭代计算数据集的mini-batch的梯度,然后对参数进行更新。
- Momentum:前几次的梯度参与到当前计算中来,但是会以一定程度的衰减进行叠加。
- AdaGrad:训练过程中自动变更学习速率,实际学习率与以往所有梯度的模和成反比。
- RMSProp:使用系数约束了历史梯度的影响,调整了学习率下降过快的情况。
- Adam:结合了Momentum和RMSProp,即考虑过往梯度的影响,又使用历史梯度的平方和动态调整学习率,利用梯度的一阶估计和二阶估计动态调整每个参数的学习速率。
公式
SGD:
Momentum:
AdaGrad:
RMSProp:
Adam:
细节内容推荐这篇博客:
https://blog.csdn.net/u010089444/article/details/76725843