深度学习基础笔记（第三章）

3.1局部极小值和鞍点

在优化过程中经常发现，就算参数在更新，训练所得的损失也不再下降。有时所使用的深度神经网络也没有发挥其应该有的作用。这种情况说明了优化发生了一些问题。本章节则描述发生这种情况的原因。

3.1.1临界点及其种类

临界点：梯度为0的点

损失无法继续下降很有可能是收敛在了临界点上。并没有收敛到全局最小点

种类：

局部极小值：周围所有的点都比这个点要高

如果损失收敛在局部极小值，往四周走损失会更高，无法逃离。

鞍点：形状像马鞍。梯度为0，但是某方向上比较高，其他方向比较低。

鞍点存在一些路是的损失可以更低，只需要逃离鞍点就有可能得到更小的损失。

3.1.2临界值种类的方法

1. 近似出θ’附近的损失函数的样子，进而了解这一段损失函数的形状。

3.1.3逃离鞍点的办法

1.