- 博客(1)
- 收藏
- 关注
原创 Datawhale X 李宏毅苹果书 AI夏令营 Task 1- 3.1 局部极小值与鞍点+ 3.2 批量和动量
如果所有特征值为正,即海森矩阵是正定的,那么临界点是局部极小值;如果所有特征值有正有负,那么临界点是鞍点。鞍点是损失函数在某些方向上的极小值,而在其他方向上是极大值或平坦的点。不同的是局部极小值所在的位置已经是最低点,往四周走损失都会比它高,没路可走。但鞍点旁边还有能让损失更低的路径,只要逃离鞍点,就有可能让损失更低。无法得到完整的损失函数时,可以通过给定的一组参数得出附近的损失函数。在鞍点处找出负的特征值,再找出这个特征值对应的特征向量,沿着它的方向去更新参数,就可以找到一个比鞍点的损失还要更低的点。
2024-08-27 23:46:05
544
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人