第一类：基于梯度和moment（核心：衰减 ）
适用于一般的任务，有一个好的初始化值，收敛到全局或者局部的最优解；
SGD（Stochastic Gradient Descent）（直接梯度下降）
momentum（历史值在更新重占有一定的权重）
NAG（Nestero Accelerate Gradient）（超前一次计算，然后再来更新）
ASGD 空间换时间的一种SGD
第二类：自适应更新adaptive（核心：不同权重的参数的更新）
更新频率和更新量大的参数,适当减小步长（通过梯度倒数来实现），更适用于分布不均衡的任务，一般任务也可，收敛到全局或者局部最优解；
Adgrad（直接用梯度倒数，如果梯度太大有可能出现更新量太小的情况）
RMSprop（Root Mean Square 对梯度进行现有梯度和之前梯度占比的调整从而进行衰减，之后再取得倒数，这样减少Adgrad的情况）
Adadelta（更新量单位的问题，分子分母进行统一）
第三类：基于moment和基于adaptive的结合（核心：利用一阶梯度和二阶梯度、权重和衰减的设计）
结合了moment和自适应的一些优点，但是不是完全，计算量稍微大一些；
Adam（记录了梯度的期望一阶矩，和梯度二阶矩平方值的期望，再进行带倒数权重的衰减）
Adamax（把Adam二阶矩改成无穷矩，数值上更加稳定）
Nadam（Nesterov和Adam的结合，既超前又结合了动量和自适应）
第四类：牛顿算法的优化
BFGS
LBFGS
其它：Rprop：弹性反向传播，适用于fullpatch；
一般情况自适应要比SGD的更快的收敛；
常用的Adam和SGD理解起来比较简单，也更容易找问题，优化算法是为了找到最优解，在一些特定情况，一些特定的算法可以发挥作用，如果对训练时间无要求，一般情况下没必要使用特别复杂的优化算法；
具体原理可参考：
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
