神经网络的Warm up 机制

warm up的意义在于，在模型训练的初始阶段：该模型对数据还很陌生，需要使用较小的学习率慢慢学习，不断的修正权重分布，如果一开始就使用很大的学习率，方向正确了影响还不大，但是一旦训偏了，可能后续需要很多个epoch才能拉回来，甚至拉不回来，直接导致过拟合。

中间阶段，当使用较小的学习率学习了一段时间后，模型已经把每批数据都看个几遍了，形成了一些先验知识，这时候就可以使用较大的学习率加速学习，前面学习到的先验知识可以使模型的方向正确。

decay阶段：模型训练到一定阶段后，该模型学习到的分布已经大体固定，需要学习的“新知识”较少，这时候如果继续沿用很大的学习率，可能会破坏模型权重分布的稳定性。