梯度下降学习率的设定策略

梯度下降学习率的设定策略总结的太牛逼了

本文主要介绍了几种梯度下降学习率的设定策略，其中“固定学习率”、“学习率衰减”适用于简单不太复杂的应用场景，“基于Armijo准则的线性回溯搜索算法”可以当做一种自适应学习率调整，不过由于计算复杂且无法有效解决陷入局部极小值点和鞍点处的问题，使用的人并不多。在“找到合适的学习率”一小节中，我们介绍了一种简单有效的方法，可以快速找到一个适合的学习率，同时这种方法也可以界定学习率设定的合理范围，推荐使用。“热重启随机梯度下降”是“循环学习率”和“余弦退火”的结合，可以非常有效的解决梯度下降容易陷入局部极值点和鞍点等问题，它正在成为当前效果最好的、也是最标准的做法，它简单易上手，计算量很轻，可以说事半功倍，尤其在深度学习中表现非常好，推荐使用。最后介绍了“分层学习率”、“快照集成”，“随机加权平均”，是近段时间比较好的研究成果，也是不错的综合优化方法。