D2L-pytorch版 Task07笔记

优化算法进阶

1.Momentum

目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。

$${\mathbf{g}}_t={\partial }_{\mathbf{w}}\frac{1}{|{\mathcal{B}}_t|}\sum _{i\in {\mathcal{B}}_t}f({\mathbf{x}}_i,{\mathbf{w}}_{t-1})=\frac{1}{|{\mathcal{B}}_t|}\sum _{i\in {\mathcal{B}}_t}{\mathbf{g}}_{i,t-1}.$$

• An ill-conditioned Problem

Condition Number of Hessian Matrix:

$$con{d}_H=\frac{{\lambda }_{max}}{{\lambda }_{min}}$$

where ${\lambda }_{max},{\lambda }_{min}$ is the maximum amd minimum eignvalue of Hessian matrix.

让我们考虑一个输入和输出分别为二维向量$\mathbf{x}=[x_1,x_2{]}^{\top }$和标量的目标函数:

$$f(\mathbf{x})=0.1x_1^2+2x_2^2$$

$$con{d}_H=\frac{4}{0.2}=20\to \text{ill-conditioned}$$

• Maximum Learning Rate

• For $f(x)$, according to convex optimizaiton conclusions, we need step size $\eta$.
• To guarantee the convergence, we need to have $\eta$ .

• Supp: Preconditioning

在二阶优化中，我们使用Hessian matrix的逆矩阵(或者pseudo inverse)来左乘梯度向量 $i.e.{\Delta }_x=H^{-1}\mathbf{g}$，这样的做法称为precondition，相当于将 $H$ 映射为一个单位矩阵，拥有分布均匀的Spectrum，也即我们去优化的等价标函数的Hessian matrix为良好的identity matrix。
同一位置上，目标函数在竖直方向（$x_2$轴方向）比在水平方向（$x_1$轴方向）的斜率的绝对值更大。因此，给定学习率，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那么，我们需要一个较小的学习率从而避免自变量在竖直方向上越过目标函数最优解。然而，这会造成自变量在水平方向上朝最优解移动变慢。

• Momentum Algorithm

动量法的提出是为了解决梯度下降的上述问题。设时间步 $t$ 的自变量为 ${\mathbf{x}}_t$，学习率为 ${\eta }_t$。
在时间步 $t=0$，动量法创建速度变量 ${\mathbf{m}}_0$，并将其元素初始化成 0。在时间步 $t>0$，动量法对每次迭代的步骤做如下修改：

$$\begin{array}{rl}{\mathbf{m}}_t& \leftarrow \beta {\mathbf{m}}_{t-1}+{\eta }_t{\mathbf{g}}_t,\\ {\mathbf{x}}_t& \leftarrow {\mathbf{x}}_{t-1}-{\mathbf{m}}_t,\end{array}$$

Another version:

$$\begin{array}{rl}{\mathbf{m}}_t& \leftarrow \beta {\mathbf{m}}_{t-1}+(1-\beta ){\mathbf{g}}_t,\\ {\mathbf{x}}_t& \leftarrow {\mathbf{x}}_{t-1}-{\alpha }_t{\mathbf{m}}_t,\end{array}$$

$${\alpha }_t=\frac{{\eta }_t}{1-\beta }$$

其中，动量超参数 $\beta$满足 $0\le \beta <1$。当 $\beta =0$ 时，动量法等价于小批量随机梯度下降。使用较小的学习率 $\eta =0.4$ 和动量超参数 $\beta =0.5$ 时，动量法在竖直方向上的移动更加平滑，且在水平方向上更快逼近最优解。

• Exponential Moving Average

为了从数学上理解动量法，让我们先解释一下指数加权移动平均（exponential moving average）。给定超参数 $0\le \beta <1$，当前时间步 $t$ 的变量 $y_t$ 是上一时间步 $t-1$ 的变量 $y_{t-1}$ 和当前时间步另一变量 $x_t$ 的线性组合：

$$y_t=\beta y_{t-1}+(1-\beta )x_t.$$

我们可以对 $y_t$ 展开：

$$\begin{array}{rl}{y}_t& =(1-\beta )x_t+\beta y_{t-1}\\ & =(1-\beta )x_t+(1-\beta )\cdot \beta x_{t-1}+{\beta }^2{y}_{t-2}\\ & =(1-\beta )x_t+(1-\beta )\cdot \beta x_{t-1}+(1-\beta )\cdot {\beta }^2{x}_{t-2}+{\beta }^3{y}_{t-3}\\ & =(1-\beta )\sum _{i=0}^t{\beta }^i{x}_{t-i}\end{array}$$

$$(1-\beta )\sum _{i=0}^t$$