课程学习总结6_博客2020年直播课的感受-CSDN博客

本文链接：https://blog.csdn.net/mmLxfz/article/details/104410732

Classx-优化算法进阶

Momentum(动量)

目标函数 $f (x)$ 关于自变量 $x$ 的梯度 $\frac{\partial f(x)}{\partial x} |_{x=x_{0}}$ ，代表了 $f (x)$ 在 $x=x_{0}$ 的下降最快的方向，因此，梯度下降也叫作最速下降（steepest descent）。
然而，考虑到观测的噪声等问题，最速下降的收敛可能出现问题。因此谨慎的选取学习率和batch size $B_{t}$ , 来控制梯度方差和收敛的结果。在这里插入图片描述

欠定情况

$cond_{H}=\frac{\lambda_{max}}{\lambda_{min}}$
其中， $\lambda_{max}$ ， $\lambda_{min}$ 分别为Hessian阵最大和最小的特征值。
条件数 $cond_{H}$ 越大，越容易出现欠定问题。

最大学习率 Maximum Learning Rate

对于一个凸函数 $f (x)$ ，根据凸优化结论，为了保证收敛性，我们需要设定步长大小 $\eta$ 。

预处理

在二阶优化中， $\Delta x=H^{-1}g$ 的做法成为预处理（precondition），其中 $H$ 为函数Hessian阵的逆， $g$ 为原始函数的导数。
上述过程意义为：将原始的 $H$ 映射为一个单位矩阵，该矩阵拥有分布均匀的频谱（Spectrum），我们去优化的等价标函数的 $H$ 为良好的identity matrix。这种预处理操作在二阶优化问题中十分常见。

对于欠定问题的求解

a. 对梯度向量的预处理：Adam, RMSProp, AdaGrad, Adelta, KFC, Natural gradient 等二阶优化算法
b. 平均历史梯度：momentum(允许大学习率来加速收敛); applied in Adam, RMSProp, SGD momentum.

Momentum Algorithm（动量法）

为了解决梯度下降的上述问题，动量法加入动量变量 $m_{t}$ 和动量超参数 $\beta \in [0,1)$ ， $m_{t}$ 保存当前梯度和历史梯度的信息， $\beta$ 同时控制下降方向和步长，具体公式表达如下：
在这里插入图片描述
或

上式中， $t$ 时刻学习率为 $\eta_{t}$ ， $t$ 时刻函数梯度为 $g_{t}$ 。当 $\beta=0$ 时候，该算法等同于随机梯度下降。
增加动量信息 $m_{t}$ ， $\beta$ 保留了历史梯度信息，即使 $\eta_{t}$ 比较大也不影响收敛(??为啥)

Exponential Moving Average（指数加权移动平均）

动量法的表达式有：
$y_{t}=\beta y_{t-1}+(1-\beta)x_{t}$
将上式展开即有 ( $y_{t-1}=\beta y_{t-2}+(1-\beta)x_{t-1}$ …)：
在这里插入图片描述
上述化简之后，我们可以看到 $y_{t}$ 其实为一组 $x_{t-i}$ 的加权平均，其权重值为： $(1-\beta)\beta^{i}$ 。
我们来分析下该式子，其权重和为：
$(1-\beta)\sum_{i=0}^{t}\beta^{i}=(1-\beta^t)$
可以看到，权重求和不为1，因此加权求和结果不是原始式子的无偏估计，加权求和会引起均值的变化。
对于超参数 $\beta$ ， $y_{t}=(1-\beta)\sum_{i=0}^{t}\beta^{i}x_{t-i}$ 可以进行不同程度的近似。
结论为，我们可以忽略比 $\beta^{1/(1-\beta)}$ 高阶的项(包括该项)。同时，我们可以看出，距离当前时间 $t$ 越接近，权重值更大，即当前更新方向，更加接近于距离 $t$ 接近的时间步梯度，更远的部分可以忽略。

由指数加权移动平均理解动量法

在这里插入图片描述

AdaGrad（梯度平方）

动量法学习率在多维自变量上每一维度是一致的，它依赖指数加权移动平均使得自变量的更新方向更加一致，从而降低发散的可能。
AdaGrad算法根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题 [1]。
在这里插入图片描述

需要强调的是，小批量随机梯度按元素平方的累加变量 st 出现在学习率的分母项中。因此，如果目标函数有关自变量中某个元素的偏导数一直都较大，那么该元素的学习率将下降较快；反之，如果目标函数有关自变量中某个元素的偏导数一直都较小，那么该元素的学习率将下降较慢。然而，由于 st 一直在累加按元素平方的梯度，自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。所以，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。