概述:在深度学习的过程当中,我们通常会碰到优化这个问题,但是优化结果往往不是最优解,这是因为你认为的梯度为0的点,不一定是全局最小值的点,还有可能是局部最小值的点,即鞍点。
首先来看看最优化的定义:对于目标函数f(x),如果f(x)在x上的值比在x邻近的其他点的值更小,那么f(x)可能是一个局部最小值(local minimum)。如果f(x)在x上的值是目标函数在整个定义域上的最小值,那么f(x)是全局最小值(global minimum)。
比如在下面这张图中:
这张图中存在两个梯度为0的点,但是一个是全局最小值点,一个是局部最小值点。
如果扩展到三维图像上如下图所示:
当一个优化问题的数值解在局部最优解附近时,由于目标