《动手学深度学习》笔记——优化算法

转载自：《动手学深度学习》之优化算法
另外，知乎上一篇文章也总结很好：优化算法Optimizer比较和总结

优化与深度学习

• 由于优化算法的目标函数通常是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。
• 由于深度学习模型参数通常都是高维的，目标函数的鞍点通常比局部最小值更常见。

梯度下降和随机梯度下降

• 使用适当的学习率，沿着梯度反方向更新自变量可能降低目标函数值。梯度下降重复这一更新过程直到得到满足要求的解。
• 学习率过大或过小都有问题。一个合适的学习率通常是需要通过多次实验找到的。
• 当训练数据集的样本较多时，梯度下降每次迭代的计算开销较大，因而随机梯度下降通常更受青睐。

小批量随机梯度下降

• 小批量随机梯度每次随机均匀采样一个小批量的训练样本来计算梯度。
• 在实际中，（小批量）随机梯度下降的学习率可以在迭代过程中自我衰减。
• 通常，小批量随机梯度在每个迭代周期的耗时介于梯度下降和随机梯度下降的耗时之间。

动量法

• 动量法使用了指数加权移动平均的思想。它将过去时间步的梯度做了加权平均，且权重按时间步指数衰减。
• 动量法使得相邻时间步的自变量更新在方向上更加一致。

AdaGrad算法

• AdaGrad算法在迭代过程中不断调整学习率，并让目标函数自变量中每个元素都分别拥有自己的学习率。
• 使用AdaGrad算法时，自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。

RMSProp算法

• RMSProp算法和AdaGrad算法的不同在于，RMSProp算法使用了小批量随机梯度按元素平方的指数加权移动平均来调整学习率。

AdaDelta算法

• AdaDelta算法没有学习率超参数，它通过使用有关自变量更新量平方的指数加权移动平均的项来替代RMSProp算法中的学习率。

Adam算法

• Adam算法在RMSProp算法的基础上对小批量随机梯度也做了指数加权移动平均。
• Adam算法可以看做是RMSProp算法与动量法的结合。
• Adam算法使用了偏差修正。