ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION

核心

Adam: 一种基低阶矩的自适应估计的随机目标函数的一阶梯度优化算法，该方法实现简单**，计算效率高，内存需求很少**，对梯度的对角线重新缩放不变，并且非常适合于在数据或参数方面较大问题，该方法也适用于非平稳目标和具有非常有噪声的或稀疏梯度问题。

• 数据大\参数多\数据大且参数多
• 非平稳目标
• 噪声\稀疏梯度\噪声和稀疏梯度.
  超参数具有直观的解释，通常不需要什么调整。
  讨论了Adam和灵感来源的相关算法之间的一些联系，分析了算法理论的收敛性，并给出了收敛速度和在线凸优化框架下的regret bound。实验结果表明：Adam在实践效果良好，优于其他随机优化方法，最后讨论了，基于无限范数的Adam变形。

介绍

基于随机梯度优化在许多科学和工程领域具有核心的实践意义。这些领域中许多问题可以转换为一些标量参数化目标函数的优化。
需要对其参数进行最大化或最小化。如果该函数关于其参数是可微的，则梯度下降是一种相对有效的优化方法。因为，计算了所有参数的一阶偏导数与仅仅计算的函数的计算复杂度相同。通常，目标函数是随机的，例如：许多目标函数是由在不同的数据子样本上评估的子函数的和组成的；在这种情况下，通过采用梯度步骤可以使优化更有效率个别子函数，即随机梯度下降(SGD)或上升。SGD被证明是一种高效和有效的优化方法，在许多机器学习成功案例中，如深度学习的最新进展。除了数据子采样之外，目标还可能有其他噪声源，如退化正则化。对于所有这些有噪声目标，都需要有效的随机优化技术。本文的重点是研究具有高维参数空间的随机目标的优化。在这些情况下，高阶优化方法是不适合的，本文的讨论将仅限于一阶方法。

• 具有高维空间的随机目标的优化。
  本文提出了一种方法，一种有效的只需要一阶梯度的随机优化方法。该方法从梯度的第一和第二矩的估计中**，计算不同参数的个体自适应学习率**。Adam是Adaptive moment estimation的缩写，也就是自适应矩的估计。

方法结合了最近两种流行的方法的优点：AdaGrad, 其适用于稀疏梯度&