从零开始使用 Nadam 进行梯度下降优化

梯度下降是一种优化算法，遵循目标函数的负梯度以定位函数的最小值。

梯度下降的局限性在于，如果梯度变为平坦或大曲率，搜索的进度可能会减慢。可以将动量添加到梯度下降中，该下降合并了一些惯性以进行更新。可以通过合并预计的新位置而非当前位置的梯度（称为Nesterov的加速梯度（NAG）或Nesterov动量）来进一步改善此效果。

梯度下降的另一个限制是，所有输入变量都使用单个步长（学习率）。对梯度下降的扩展，如自适应运动估计（Adam）算法，该算法对每个输入变量使用单独的步长，但可能会导致步长迅速减小到非常小的值。Nesterov加速的自适应矩估计或Nadam是Adam算法的扩展，该算法结合了Nesterov动量，可以使优化算法具有更好的性能。

在本教程中，您将发现如何从头开始使用Nadam进行梯度下降优化。完成本教程后，您将知道：

• 梯度下降是一种优化算法，它使用目标函数的梯度来导航搜索空间。

• 纳丹（Nadam）是亚当（Adam）版本的梯度下降的扩展，其中包括了内斯特罗夫的动量。

• 如何从头开始实现Nadam优化算法并将其应用于目标函数并评估结果。

教程概述

本教程分为三个部分：他们是：

• 梯度下降

• Nadam优化算法

• 娜达姆（Nadam）的梯度下降

• • 二维测试问题

  • Nadam的梯度下降优化

  • 可视化的Nadam优化

梯度下降

梯度下降是一种优化算法。它在技术上称为一阶优化算法，因为它明确利用了目标目标函数的一阶导数。

一阶导数，或简称为“导数”，是目标函数在特定点（例如，点）上的变化率或斜率。用于特定输入。

如果目标函数采用多个输入变量，则将其称为多元函数，并且可以将输入变量视为向量。反过来，多元目标函数的导数也可以视为向量，通常称为梯度。

梯度：多元目标函数的一阶导数。

对于特定输入，导数或梯度指向目标函数最陡峭的上升方向。梯度下降是指一种最小化优化算法，该算法遵循目标函数的下坡梯度负值来定位函数的最小值。

梯度下降算法需要一个正在优化的目标函数和该目标函数的导数函数。目标函数f（）返回给定输入集合的分数，导数函数f'（）给出给定输入集合的目标函数的导数。梯度下降算法需要问题中的起点（x），例如输入空间中的随机选择点。

假设我们正在最小化目标函数，然后计算导数并在输入空间中采取一步，这将导致目标函数下坡运动。首先通过计算输入空间中要移动多远的距离来进行下坡运动，计算方法是将步长（称为alpha或学习率）乘以梯度。然后从当前点减去该值，以确保我们逆梯度移动或向下移动目标函数。

x（t）= x（t-1）–step* f'（x（t））

在给定点的目标函数越陡峭，梯度的大小越大，反过来，在搜索空间中采取的步伐也越大。使用步长超参数来缩放步长的大小。

步长：超参数，用于控制算法每次迭代相对于梯度在搜索空间中移动多远。

如果步长太小，则搜索空间中的移动将很小，并且搜索将花费很长时间。如果步长太大，则搜索可能会在搜索空间附近反弹并跳过最优值。

现在我们已经熟悉了梯度下降优化算法，接下来让我们看一下Nadam算法。

Nadam优化算法

Nesterov加速的自适应动量估计或Nadam算法是对自适应运动估计（Adam）优化算法的扩展，添加了Nesterov的加速梯度（NAG）或Nesterov动量，这是一种改进的动量。更广泛地讲，Nadam算法是对梯度下降优化算法的扩展。Timothy Dozat在2016年的论文“将Nesterov动量整合到Adam中”中描述了该算法。尽管论文的一个版本是在2015年以同名斯坦福项目报告的形式编写的。动量将梯度的指数衰减移动平均值（第一矩）添加到梯度下降算法中。这具有消除嘈杂的目标函数和提高收敛性的影响。Adam是梯度下降的扩展，它增加了梯度的第一和第二矩，并针对正在优化的每个参数自动调整学习率。NAG是动量的扩展，其中动量的更新是使用对参数的预计更新量而不是实际当前变量值的梯度来执行的。在某些情况下，这样做的效果是在找到最佳位置时减慢了搜索速度，而不是过冲。

纳丹（Nadam）是对亚当（Adam）的扩展，它使用NAG动量代替经典动量。让我们逐步介绍该算法的每个元素。Nadam使用衰减步长（alpha）和一阶矩（mu）超参数来改善性能。为了简单起见，我们暂时将忽略此方面，并采用恒定值。首先，对于搜索中要优化的每个参数，我们必须保持梯度的第一矩和第二矩，分别称为m和n。在搜索开始时将它们初始化为0.0。

m = 0

n = 0

该算法在从t = 1开始的时间t内迭代执行，并且每次迭代都涉及计算一组新的参数值x，例如。从x（t-1）到x（t）。如果我们专注于更新一个参数，这可能很容易理解该算法，该算法概括为通过矢量运算来更新所有参数。首先，计算当前时间步长的梯度（偏导数）。

g（t）= f'（x（t-1））

接下来，使用梯度和超参数“ mu”更新第一时刻。

m（t）=mu* m（t-1）+（1 –mu）* g（t）

然后使用“ nu”超参数更新第二时刻。

n（t）= nu * n（t-1）+（1 – nu）* g（t）^ 2

接下来，使用Nesterov动量对第一时刻进行偏差校正。

mhat =（mu * m（t）/（1 – mu））+（（1 – mu）* g（t）/（1 – mu））

然后对第二个时刻进行偏差校正。注意：偏差校正是Adam的一个方面，它与在搜索开始时将第一时刻和第二时刻初始化为零这一事实相反。

nhat = nu * n（t）/（1 – nu）

最后，我们可以为该迭代计算参数的值。

x（t）= x（t-1）– alpha /（sqrt（nhat）+ eps）* mhat

其中alpha是步长（学习率）超参数，sqrt（）