局部最优点和鞍点

一、什么是鞍点

  造成神经网络难以优化的一个重要原因不是高维优化问题中有很多局部极值，而是存在大量鞍点。
  很多实际的经验告诉我们，最后只能收敛到一个最小值，也就是说，很多现实实际问题是只有一个最小值的,但这个最小值通常是鞍点。

  造成神经网络难以优化的一个重要原因是存在大量鞍点。造成局部极值这种误解的原因在于，人们把低维的直观认识直接推到高维的情况。在一维情况下，局部极值是仅有的造成优化困难的情形（Hessian矩阵只有一个特征值）。

海森矩阵不定的话就是鞍点，正定或者负定的话不是鞍点

二、局部最优点和鞍点的区别

  最优点和鞍点的区别在于其在各个维度是否都是最低点嘛，只要某个一阶导数为0的点在某个维度上是最高点而不是最低点，那它就是鞍点。而区分最高点和最低点当然就是用二阶导数（斜率从负变正的过程当然就是“下凸”，即斜率的导数大于0，即二阶导数大于0。反之则为“上凹”，二阶导数小于0）。也就是说，若某个一阶导数为0的点在至少一个方向上的二阶导数小于0，那它就是鞍点啦。

三、如何逃离鞍点

  如果你沿着中间部分往下走，你最终会摆脱它，但这可能需要很长时间。这只是两个维度上，但如果你有上十万甚至上百万维度呢？就像现在一般的研究中一样。在这种情况下，可能只有一条出路，其他的方向都不行，所以要找到逃逸的方向可能要花很长时间。当维度越来越大的时候，就有问题了。基于梯度下降的算法可能会有麻烦。
  只用一阶导数是难以区分最优点和鞍点的。但如果你有一个海森矩阵，这个问题将会消失，因为你会知道所有的方向，但你必须计算一个海森矩阵的特征