神经网络训练不起来怎么办---李宏毅《机器学习》笔记05

---

一、local minima 和 saddle point

1. loss不下降是什么原因？梯度为0（critical point）
2. 但local minima 的情况很少，一般saddle point

1.1 如何知道是卡在local minima 还是 saddle point

1. 用泰勒级数模拟Loss在该点附近的形状

2. 根据Hessian判断形状：如果H正定则是local minima

1.2 H可能能告诉我们更新参数的方向

二、 Batch 和 Momentum