Introduction
关于 鞍点 的定义:
- 鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。
- 一个 不是局部极值点的驻点 称为 “鞍点” 。
- 驻点:一阶导数为0;
- 拐点:二阶导数为0。
Example
单变量函数:
鞍点处的一阶导为0,二阶导换正负号。
多变量函数:
鞍点处,在某些方向上是峰顶,在其他方向上是谷底。
Note:
- 在高维空间中,局部最优很罕见,鞍点很常见 (在低维空间中则相反);
- 对于模型而言,它并不知道自己究竟走到的是驻点还是局部最优点。但是动量可以帮助优化器跳出这些区域,也就是常说的“惯性”。
[1] Deep Learning
[2] 维基百科-鞍点