【手写数字识别】之优化算法

1.前提条件

在优化算法之前，需要进行数据处理、设计神经网络结构

2.设置学习率

学习率代表参数更新幅度的大小，即步长。当学习率最优时，模型的有效容量最大

学习率越小，损失函数变化速度越慢，学习率越大，会导致参数在最优解附近震荡，损失难以收敛

3.学习率的主流优化算法

目前四种比较成熟的优化算法：SGD、Momentum、AdaGrad和Adam

 

• SGD： 随机梯度下降算法，每次训练少量数据，抽样偏差导致的参数收敛过程中震荡。

• Momentum： 引入物理“动量”的概念，累积速度，减少震荡，使参数更新的方向更稳定。