16.1 RMSProp RMSProp算法对AdaGrad算法做了修改,仅累积最近迭代的梯度 使用指数衰减来实现 和AdaGrad算法一样,RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整,然后更新自变量 16.2 AdaDelta算法 16.3 Adam算法 Adam算法结合了动量优化和 RMSProp 的思想 算法 动量变量