MAJILIAO的博客

原创 Datawhale X 李宏毅苹果书 AI夏令营 Task 1- 3.1 局部极小值与鞍点+ 3.2 批量和动量

如果所有特征值为正，即海森矩阵是正定的，那么临界点是局部极小值；如果所有特征值有正有负，那么临界点是鞍点。鞍点是损失函数在某些方向上的极小值，而在其他方向上是极大值或平坦的点。不同的是局部极小值所在的位置已经是最低点，往四周走损失都会比它高，没路可走。但鞍点旁边还有能让损失更低的路径，只要逃离鞍点，就有可能让损失更低。无法得到完整的损失函数时，可以通过给定的一组参数得出附近的损失函数。在鞍点处找出负的特征值，再找出这个特征值对应的特征向量，沿着它的方向去更新参数，就可以找到一个比鞍点的损失还要更低的点。