Datawhale X 李宏毅苹果书AI夏令营 深度学习进阶 笔记

1. 第三章 深度学习基础

局部极小值与鞍点

Motivation：梯度下降并为收敛到局部最优，但梯度已经为0，此时的情况就是鞍点。

判断临界值的方法：

1. 将损失函数$L(\theta )$泰勒展开；
2. 在梯度为0时最后一项包含二次微分的海森矩阵H相关；
3. 计算H的特征值，全正/负则为正/负定矩阵，一定是局部级小/大值，有正有负则为鞍点。

脱离鞍点的方法

Batch

在实际优化阶段，并不会每次计算全部数据的损失，而是分batch进行梯度下降。其中，batch size=1的时候叫做随机梯度下降。并行计算时大批量效率更高。需要引入一些随机性的时候可以减小batch size，引入一些噪声帮助训练。
随机梯度下降时脱离鞍点的方法之一。

动量法

Motivation：在原本的梯度下降方向之外，引入上一次梯度下降的方向类似惯性。这样前一步影响够大的时候会越过鞍点。