[Datawhale X 李宏毅苹果书 AI夏令营-局部最小点与鞍点】

深度学习优化问题

        问题描述：神经网络优化到一定阶段，损失不在下降，但是深层网络模型能力比不上浅层网络，原因在于遇到了鞍点。

        问题解决：在损失达到了一个临界点时（梯度为0），判断点为局部最小点、局部最大点和鞍点是解决的目标。常通过多元函数泰勒展开中的海森矩阵来判断。判断则可以转换为计算海森矩阵的特征值，如果特征值全正，则为局部最小点；如果特征值全负，则为局部最大点；如果特征值有正有负，则为鞍点。权重更新方向，则沿着海森矩阵的特征向量方向更新。

        注意事项：从更高维来看，鞍点常见，局部最小点少见