【Day4】optimization

gd-sgd

梯度下降（gradien descent）
以下的近似：

$$f(x+ϵ)\approx f(x)+ϵf^{\prime }(x).$$

接下来，找到一个常数$\eta >0$，使得$\left|\eta f^{\prime }(x)\right|$足够小，那么可以将$ϵ$替换为$-\eta f^{\prime }(x)$并得到

$$f(x-\eta f^{\prime }(x))\approx f(x)-\eta f^{\prime }(x{)}^2.$$
学习率$\eta$太大，overshoot

随机梯度下降（stochastic gradient descent）
在深度学习里，目标函数通常是训练数据集中有关各个样本的损失函数的平均。那么目标函数定义为

$$f(\mathbf{x})=\frac{1}{n}\sum _{i=1}^n{f}_i(\mathbf{x}).$$

目标函数在$\mathbf{x}$处的梯度计算为

$$\nabla f(\mathbf{x})=\frac{1}{n}\sum _{i=1}^n\nabla f_i(\mathbf{x}).$$

如果使用梯度下降，每次自变量迭代的计算开销为$\mathcal{O}(n)$，它随着$n$线性增长。因此，当训练数据样本数很大时，梯度下降每次迭代的计算开销很高。

随机梯度下降（stochastic gradient descent，SGD）减少了每次迭代的计算开销。在随机梯度下降的每次迭代中，我们随机均匀采样的一个样本索引 i ∈ { 1 , … , n } i\in\{1,\ldots,n\} i∈{1,…,n}，并计算梯度$\nabla f_i(\mathbf{x})$来迭代$\mathbf{x}$：

$$\mathbf{x}\leftarrow \mathbf{x}-\eta \nabla f_i(\mathbf{x}).$$

momentum动量法

解决：水平方向和竖直方向梯度相差太大，不容易接近最优解
方法：依赖指数加权移动平均使得自变量的更新方向更加一致，从而降低发散的可能。

在时间步$0$，动量法创建速度变量${\mathbf{v}}_0$，并将其元素初始化成0。在时间步$t>0$，动量法对每次迭代的步骤做如下修改：
$$\begin{array}{rl}{\mathbf{v}}_t& \leftarrow \gamma {\mathbf{v}}_{t-1}+{\eta }_t{\mathbf{g}}_t,\\ {\mathbf{x}}_t& \leftarrow {\mathbf{x}}_{t-1}-{\mathbf{v}}_t,\end{array}$$
我们对动量法的速度变量做变形：
$${\mathbf{v}}_t\leftarrow \gamma {\mathbf{v}}_{t-1}+(1-\gamma )\left(\frac{{\eta }_t}{1-\gamma }{\mathbf{g}}_t\right).$$
速度变量${\mathbf{v}}_t$实际上对序列 { η t − i g t − i / ( 1 − γ ) : i = 0 , … , 1 / ( 1 − γ ) − 1 } \{\eta_{t-i}\boldsymbol{g}_{t-i} /(1-\gamma):i=0,\ldots,1/(1-\gamma)-1\} {ηt−i​gt−i​/(1−γ):i=0,…,1/(1−γ)−1}做了指数加权移动平均。

相比于小批量随机梯度下降，动量法在每个时间步的自变量更新量近似于将前者对应的最近$1/(1-\gamma )$个时间步的更新量做了指数加权移动平均后再除以$1-\gamma$。所以，在动量法中，自变量在各个方向上的移动幅度不仅取决于当前梯度，还取决于过去的各个梯度在各个方向上是否一致。在本节之前示例的优化问题中，所有梯度在水平方向上为正（向右），而在竖直方向上时正（向上）时负（向下）。这样，我们就可以使用较大的学习率，从而使自变量向最优解更快移动。

其中，动量超参数$\gamma$满足$0\le \gamma <1$。当$\gamma =0$时，动量法等价于小批量随机梯度下降。
指数加权移动平均（exponentially weighted moving average）
$$y_t=\gamma y_{t-1}+(1-\gamma )x_t.$$

我们可以对$y_t$展开：

$$\begin{array}{rl}{y}_t& =(1-\gamma )x_t+\gamma y_{t-1}\\ & =(1-\gamma )x_t+(1-\gamma )\cdot \gamma x_{t-1}+{\gamma }^2{y}_{t-2}\\ & =(1-\gamma )x_t+(1-\gamma )\cdot \gamma x_{t-1}+(1-\gamma )\cdot {\gamma }^2{x}_{t-2}+{\gamma }^3{y}_{t-3}\\ & \dots \end{array}$$

令$n=1/(1-\gamma )$，那么 ${\left(1-1/n\right)}^n={\gamma }^{1/(1-\gamma )}$。因为

$$\underset{n\to \infty }{\lim }{\left(1-\frac{1}{n}\right)}^n=\exp (-1)\approx 0.3679,$$

所以当$\gamma \to 1$时，${\gamma }^{1/(1-\gamma )}=\exp (-1)$，如$0.95^{20}\approx \exp (-1)$。如果把$\exp (-1)$当作一个比较小的数，我们可以在近似中忽略所有含${\gamma }^{1/(1-\gamma )}$和比${\gamma }^{1/(1-\gamma )}$更高阶的系数的项。例如，当$\gamma =0.95$时，

$$y_t\approx 0.05\sum _{i=0}^{19}0.95^i{x}_{t-i}.$$

AdaGrad

方法：根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题。
思路：状态变量${\mathbf{s}}_t$是截至时间步$t$所有小批量随机梯度${\mathbf{g}}_t$按元素平方和。
问题：不断迭代，学习率不断下降，后期可能仍为找到有用解。

AdaGrad算法会使用一个小批量随机梯度${\mathbf{g}}_t$按元素平方的累加变量${\mathbf{s}}_t$：

$${\mathbf{s}}_t\leftarrow {\mathbf{s}}_{t-1}+{\mathbf{g}}_t\odot {\mathbf{g}}_t,$$

接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下：

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

其中$\eta$是学习率，$ϵ$是为了维持数值稳定性而添加的常数，如$10^{-6}$。这里开方、除法和乘法的运算都是按元素运算的。这些按元素运算使得目标函数自变量中每个元素都分别拥有自己的学习率。

RMSProp

思路：将这些梯度按元素平方做指数加权移动平均。具体来说，给定超参数$0\le \gamma <1$，RMSProp算法在时间步$t>0$计算

$${\mathbf{s}}_t\leftarrow \gamma {\mathbf{s}}_{t-1}+(1-\gamma ){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，然后更新自变量

$${\mathbf{x}}_t\leftarrow {\mathbf{x}}_{t-1}-\frac{\eta }{\sqrt{{\mathbf{s}}_t+ϵ}}\odot {\mathbf{g}}_t,$$

AdaDelta

有意思的是，AdaDelta算法没有学习率这一超参数。
用来两个EMA。

Adam

在Adam算法中，我们对变量${\mathbf{v}}_t$和${\mathbf{s}}_t$均作偏差修正：

$${\hat{\mathbf{v}}}_t\leftarrow \frac{{\mathbf{v}}_t}{1-{\beta }_1^t},$$

$${\hat{\mathbf{s}}}_t\leftarrow \frac{{\mathbf{s}}_t}{1-{\beta }_2^t}.$$

${\mathbf{v}}_t$即小批量随机梯度${\mathbf{g}}_t$的指数加权移动平均：

$${\mathbf{v}}_t\leftarrow {\beta }_1{\mathbf{v}}_{t-1}+(1-{\beta }_1){\mathbf{g}}_t.$$

和RMSProp算法中一样，给定超参数$0\le {\beta }_2<1$（算法作者建议设为0.999），
将小批量随机梯度按元素平方后的项${\mathbf{g}}_t\odot {\mathbf{g}}_t$做指数加权移动平均得到${\mathbf{s}}_t$：

$${\mathbf{s}}_t\leftarrow {\beta }_2{\mathbf{s}}_{t-1}+(1-{\beta }_2){\mathbf{g}}_t\odot {\mathbf{g}}_t.$$

由于我们将${\mathbf{v}}_0$和${\mathbf{s}}_0$中的元素都初始化为0，
在时间步$t$我们得到${\mathbf{v}}_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{\mathbf{g}}_i$。将过去各时间步小批量随机梯度的权值相加，得到 $(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$。需要注意的是，当$t$较小时，过去各时间步小批量随机梯度权值之和会较小。例如，当${\beta }_1=0.9$时，${\mathbf{v}}_1=0.1{\mathbf{g}}_1$。为了消除这样的影响，对于任意时间步$t$，我们可以将${\mathbf{v}}_t$再除以$1-{\beta }_1^t$，从而使过去各时间步小批量随机梯度权值之和为1。这也叫作偏差修正。