李宏毅2021春机器学习课程笔记--类神经网络（三）

视频链接： https://www.bilibili.com/video/BV1Wv411h7kN?p=13

自动调整学习率 learning rate

critical point 有时不是训练时的最大障碍->当loss不再下降时， gradient真的很小吗？

下图 在 error surface反复横跳

对于convex（等高线为椭圆）的error surface，设置大/小的学习率的结果 -无法靠近critical point

在某一方向比较平坦，希望learning rate大，
比较陡峭则：smaller learning

Adaptive learning：

Adagrad

将步长调节为与参数i和与时间有关的参数

将可调节参数化为过去梯度的平均再开根号

上述为Adagrad的核心思想

RMSProp

最早出现在 Hinton的公开课


方向 梯度 都加权

自动调整学习率：
梯度小的地方sigma小，作为分母使得学习率变大。

学习率衰减 使得越接近终点的 走的越缓慢

warm up: learning rate先变大后变小
RAdam论文有详细讲解

残差网络便使用了这个调参策略
（0.01->0.1）
Transformer：

m与sigama都考虑过去所有gradiant
但动量momentum是是把过去所有的梯度直接相加，考虑了方向
sigma考虑大小：

总结:
Adam 学习率调整分为三部分：
动量m 调整方向
sigma 调整大小
η （一般decay or warm up）控制整体趋势