qq_43266410的博客

原创 [Datawhale X 李宏毅苹果书 AI夏令营] Task1 笔记

做深度学习训练神经网络时，经常会碰见训练损失在经历一定的更新次数后不再下降的情况。我们常常会认为此时参数对于损失函数的微分，也就是梯度为0，从而使得模型无法再通过梯度下降法来获得更好的训练效果。这类梯度为0的点可以被称之为。过去最常见想到的符合这类条件的点是和。然而，还存在着一种称为的临界点。顾名思义，鞍点的叫法是因为靠近鞍点的临界区域形状像马鞍而得名的。例如在下图b中，红色的临界点虽然在y轴方向较高，但在x轴方向较低。因此，临界点类型的判断有助于我们决定现有神经网络结构的参数是否还有进一步优化的可能。