机器学习 - 类神经网络训练不起来怎么办

1. critical point

临界点。gradient（梯度）为零的点称为临界点。

local minima（局部极小值）和 saddle point（鞍点）都是临界点。

2. 判断临界点性质

举例说明：

为 g，令 g = 0求 H。
H 为

沿着 u 的方向更新参数会让 loss 变小。

举例：

3. Batch size

大的 Batch size 在训练的时候往往会带来比较差的结果。

小的 Batch size 在训练和 test 的时候结果往往会比较好。

4. Momentum

Momentum：动量

一般的 Gradient Descent 是沿着 Gradient 的反方向移动。

移动的方向是 Gradient 的反方向加上上一步的移动方向。