4. 类神经网络训练不出来怎么办（一）Local minima 、Saddle point

类神经网络训练不出来怎么办（一）

梯度为0

1. Local minima
2. Saddle point

两种可能情况，统称为：critical point

怎么知道是Local minima还是Saddle point?

给定$L(\theta ),\theta ={\theta }^{{}^{\prime }}$

在${\theta }^{{}^{\prime }}$附近：$L(\theta )\approx L({\theta }^{{}^{\prime }})+(\theta -{\theta }^{{}^{\prime }}{)}^{T}g+\frac{1}{2}(\theta -{\theta }^{{}^{\prime }}{)}^{T}H(\theta -{\theta }^{{}^{\prime }})$

g: Gradient H: Hessian matrix

当g 等于0时，$L(\theta )\approx L({\theta }^{{}^{\prime }})+\frac{1}{2}(\theta -{\theta }^{{}^{\prime }}{)}^{T}H(\theta -{\theta }^{{}^{\prime }})$ H正定：Local minima H负定： Local maxima H不定：Saddle point

当是一个Saddle point时，可以根据H判断更新方向使Loss继续下降：

设$u$是H特特征值为$\lambda <0$的特征向量，$u^{T}Hu=\lambda ||u|{|}^2<0$，当$\theta -{\theta }^{{}^{\prime }}=u$时，$L(\theta )\approx L({\theta }^{{}^{\prime }})+\frac{1}{2}\lambda ||u|{|}^2$

所以$L(\theta )<L({\theta }^{{}^{\prime }})$，即沿$u$方向移动可以使Loss变小$\theta =\theta {}^{\prime }+u$

Saddle point VS. Local minima

经验上看Local minima并不是很常见