【深度学习】鞍点

Introduction

关于 鞍点 的定义：

• 鞍点附近的某些点比鞍点有更大的代价，而其他点则有更小的代价。
• 一个 不是局部极值点的驻点 称为 “鞍点” 。
  • 驻点：一阶导数为0；
  • 拐点：二阶导数为0。

Example

单变量函数：

鞍点处的一阶导为0，二阶导换正负号。

多变量函数：

鞍点处，在某些方向上是峰顶，在其他方向上是谷底。

Note:

• 在高维空间中，局部最优很罕见，鞍点很常见 (在低维空间中则相反)；
• 对于模型而言，它并不知道自己究竟走到的是驻点还是局部最优点。但是动量可以帮助优化器跳出这些区域，也就是常说的“惯性”。

---

[1] Deep Learning
[2] 维基百科-鞍点