Datawhale X 李宏毅深度学习（进阶） AI夏令营 task1

第三章的笔记

临界点及其种类

临界点：梯度为零的点

临界点包括：局部最小值，局部最大值，鞍点（saddle point)

判断临界点种类的方法

判断一个临界点到底是局部极小值还是鞍点需要知道损失函数的形状 。

判断一个临界点到底是局部极小值还是鞍点需要知道损失函数的形状。

可是怎么知道损失函数的形状？网络本身很复杂，用复杂网络算出来的损失函数显然也很复杂。虽然无法完整 知道整个损失函数的样子，但是如果给定某一组参数，比如θ′，在θ′附近的损失函数是有办 法写出来的——虽然L(θ)完整的样子写不出来。θ′ 附近的L(θ)可近似为

 

在临界点，梯度g为零，因此（θ−θ′） Tg为零。所以在临界点的附近，损失函数可被近 似为 

 plus:  线性代数的知识，不必将所有的v带入v^THv，与0比较。只需知道H的特征值。