Datawhale X 李宏毅苹果书AI夏令营 深度学习进阶 笔记
1. 第三章 深度学习基础
局部极小值与鞍点
Motivation:梯度下降并为收敛到局部最优,但梯度已经为0,此时的情况就是鞍点。
判断临界值的方法:
- 将损失函数 L ( θ ) L(\theta) L(θ)泰勒展开;
- 在梯度为0时最后一项包含二次微分的海森矩阵H相关;
- 计算H的特征值,全正/负则为正/负定矩阵,一定是局部级小/大值,有正有负则为鞍点。
脱离鞍点的方法
Batch
在实际优化阶段,并不会每次计算全部数据的损失,而是分batch进行梯度下降。其中,batch size=1的时候叫做随机梯度下降。并行计算时大批量效率更高。需要引入一些随机性的时候可以减小batch size,引入一些噪声帮助训练。
随机梯度下降时脱离鞍点的方法之一。
动量法
Motivation:在原本的梯度下降方向之外,引入上一次梯度下降的方向类似惯性。这样前一步影响够大的时候会越过鞍点。