机器学习 gradient小的情况

gradient小的具体情况

在Optimization的过程中，可能会出现gradient趋近于0，Loss仍然不够低且几乎不变化的情况。

在gradient趋近于0的点称为critical point（临界点）
出现这种现象一般有两种情况：

（1）local minimum

local minima是在当前范围中处于Loss处于最低点

（2）saddle point

Loss可增大，亦可减小，取决于走的方向

如何判断critical point的类别？

运用数学知识解决：

在critical point处，gradient 趋近于0，L(θ) 约等于上图红色部分。
红色部分因此决定了此临界点的特性。

将(θ - θ’)用v表示，计算L(θ)结果有如下三种情况:
（1）H > 0 = 特征值为正
该临界点为Local minimum
（2）H < 0 = 特征值为负
该临界点为Local maximum
（3）存在H > 0且存在H < 0 = 正负特征值都存在
该临界点为Saddle point

Saddle point

μ为H的特征向量
λ为u的特征值
则得：Hμ = λμ
在L(θ) = L(θ’) + 1/2(θ-θ’)^T * H * (θ - θ’)中，假设θ-θ’ = u
则可得到下图方程式

||u||²> 0，则上式正负取决于λ


λ为u的特征值
当u = θ-θ’，即θ = θ’ + u 时，θ’只要沿着u的方向update能得到θ，就可以让Loss变小。

哪种情况更多？

若只是看二维图，我们可能无法发现Loss还能减小，则会有很多local minima的情况，但随着参数增加，即在更高的维度空间中，我们本以为的local minimum更有可能只是saddle point。