- 博客(1)
- 收藏
- 关注
原创 [Datawhale X 李宏毅苹果书 AI夏令营-局部最小点与鞍点】
深度学习优化问题 问题描述:神经网络优化到一定阶段,损失不在下降,但是深层网络模型能力比不上浅层网络,原因在于遇到了鞍点。 问题解决:在损失达到了一个临界点时(梯度为0),判断点为局部最小点、局部最大点和鞍点是解决的目标。常通过多元函数泰勒展开中的海森矩阵来判断。判断则可以转换为计算海森矩阵的特征值,如果特征值全正,则为局部最小点;如果特征值全负,则为局部最大点;如果特征值有正有负,则为鞍点。权重更新方向,则沿着海森矩阵的特征向量方向更新。 注意事项:从
2024-08-23 11:33:22
47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人