机器学习笔记2——optimization

在通常训练时经常会遇到上述几种问题；而优化时也会遇到如下图所示无法找见最优值。

如图所示，局部最小值和鞍点都是梯度等于0的临界点

loss函数可近似写为此公式：

其中g代表了之间的差距

在临界点时，g=0

如果为鞍点如何调整?

u是H的特征向量，入为H的特征值；

沿u的方向做更新，loss变小。