Goodfellow花树学习笔记--深度模型中的优化

目录

神经网络优化中的挑战

Critical Point临界点

利用泰勒展开式判断临界点的类型

局部极小值

高原、鞍点和其他平坦区域

如何确定鞍点处参数更新的方向

病态

为什么会在非临界点处卡住

梯度消失和梯度爆炸

小批量算法

从小数目样本中获得梯度的统计估计

大小批次的运算时间对比

大小批次的性能对比

“噪音”更新更适合训练

“噪音”更新利于泛化

小批量的大小

随机抽取

异步并行分布式方法

优化算法

随机梯度下降

Momentum

Nesterov 动量​编辑

参数初始化策略

自适应学习率算法

AdaGrad

RMSProp

Adam

学习率衰减

warm up

二阶近似方法

牛顿法

共轭梯度

BFGS

优化策略和元算法

批标准化

监督预训练

---

神经网络优化中的挑战

Critical Point临界点

gradient为零的点统称为critical point。对抗临界点的两个方法就是batch 和 momentum

在Optimization的过程中，随着参数不断的update，training loss可能不会再下降，但是此时的loss仍然不符合要求（上图的蓝线）。比如把deep network跟linear model或shallow network比较之后发现发现效果并没有变的更好，就好像deep network没有发挥它完整的力量，此时Optimization显然是有问题的。有时候甚至发现一开始model就train不起来。一开始不管怎么update参数，loss都无法下降（上图中的橙线）。

原因可能是梯度接近于 0，导致参数更新的步伐接近于0，所以参数不动，loss也就降不下去。如果是卡在local minima，那可能就没有路可以走了，但如果是卡在saddle point的话，saddle point旁边还是有路可以走的，只要逃离saddle point，就有可能让loss更低