Datawhale X 李宏毅苹果书 AI夏令营: Lec5

马鞍点与局部最优点

对损失函数进行优化时会出现Loss不在下降，但是此时Loss并没有下降到期望的大小，此时gradient接近于0，一般是局部最小，但是，也十分可能是到了一个马鞍点，gradient一样近于0

但是对于局部最小点(local minima)已经无法优化了，而马鞍点(saddle point)却还可以优化，那么如何区分是不是马鞍点？

区分Saddle point与local minima

Math

泰勒近似

在$\theta$附近${\theta }^{\prime }$处, 通过泰勒级数接近(Taler Series Approximation), 把损失函数$L(\theta )$展开:
$$L(\theta )=L({\theta }^{\prime })+(\theta -{\theta }^{\prime }{)}^{T}g+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime })$$
$g$是gradient, 是一个向量, $g=\nabla L({\theta }^{\prime }),g_i=\frac{\partial L({\theta }^{\prime })}{\partial {\theta }_i}$

$H$是一个Hessian矩阵, $H_{ij}=\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}L({\theta }^{\prime })$

判断

At critical point:

$$L(\theta )\approx L({\theta }^{\prime })+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime })$$

$$v^{T}Hv$$

• For all v :
  • If $v^{T}Hv>0$ ⟹ Around ${\theta }^{\prime }$: $L(\theta )>L({\theta }^{\prime })$ ⟹ Local minima
    == H is positive definite == All eigen values are positive
  • If $v^{T}Hv<0$ ⟹ Around ${\theta }^{\prime }$: $L(\theta )<L({\theta }^{\prime })$ ⟹ Local maxima
    == H is negative definite == All eigen values are negative
• Sometimes $v^{T}Hv>0$ , sometimes $v^{T}Hv<0$ ⟹ Saddle point