自适应学习率算法

1，什么是自适应学习率算法
神经网络中的学习率是难以设置的参数之一，如果学习率太小,则梯度很大的参数会有一个很慢的收敛速度;如果学习率太大,则己经优化得差不多的参数可能会出现不稳定的情况 。为了更有效地训练模型,比较合理的一种做法是,对每个参与训练的参数设置不同的学习率,在整个学习的过程中通过一些算法自动适应这些参数的学习率。
2，怎么实现动态改变学习率？
在早期, Delta-ha-delta 算法实现了在训练时适应模型参数各自的学习率。该算法的思路大体上可以描述为:如果损失与某一指定参数的偏导的符号相同,那么学习率应该增加;如果损失与该参数的偏导的符号不同，那么学习率应该减小。
在Delta-ha-delta 算法思想的启发下又出现了许多自适应学习率算法。
3，现在的新方法
在Delta-ha-delta 算法思想的启发下又出现了许多自适应学习率算法。
1） Ada Grad 算法
2) RMSProp 算法
3）Adam算法