Datawhale X 李宏毅苹果书AI夏令营深

深度学习详解 3.1 局部极小值与鞍点

1. 临界点及其种类：在训练的过程中损失函数很容易会出现一个问题，怎样训练都没办法继续降低了，但实际上这个并不是全局最优的点，那么就需要对这个点进行判断，那么首先需要知道这个点的类型。

   1. 局部极小值

   2. 局部极大值

   3. 临界点

2. 判断临界值种类的方法：对于人通过图能够更直观的判断点的状态，但是对于计算机就需要构建一个函数，让计算机对其进行计算来判断点的类型

   1. 采用泰勒级数近似

   2. 简化计算过程，把算法简化

3. 逃离鞍点的方法：在发现问题后，就需要找出解决问题的办法，通过找出特征值，然后乘上特征向量以逃离当前的不能继续训练下去的状态。

   1. 找出特征值

   2. 乘上特征向量