优化算法

min-batch梯度下降法：

把训练集分成小一点的子集，取名为min-batch。

指数加权平均：

当β为0.98时，大约得到的温度为之前五十天的平均温度。

指数加权平均的偏差修正，因为初始有可能太小了

动量梯度下降算法：

减少纵向的波动，平稳靠近最小值的点。

RMSprop算法:

增加横轴的变化速度，所以除一个小的数，减小纵轴的变化所以除一个大的数。

Adam算法（实际上就是将上述两个算法结合）

学习率衰减：

公式不一，还有很多方法。

在梯度下降的过程中，导数为零的点叫做鞍点.。

关于参数的选取，如果线性轴上不能抽取均匀分布的点，可以将其映射到对数轴上在进行抽取。