深度学习中的各种学习率的比较

此文转载于：https://blog.csdn.net/yixieling4397/article/details/82834943
想学习这部分的同学还请通过这个博客进行学习，本博客纯属个人笔记。

在深度学习中，如何快速的找到局部最小值这非常重要，因此有很多种学习率自动下降的方法，分别为：

fixed: 保持学习率base_lr不变。

step: 如果设置为step，则还需要设置一个stepsize，返回base_lr * gamma^(floor(iter/stepsize))，其中iter表示当前的迭代次数。

exp: 返回base_lr*gamma^iter，iter为当前迭代次数。

inv: 如果设置为inv，还需要设置一个power，返回base_lr*(1 + gamma * iter)^(-power)

multistep: 如果设置为multistep，则还需要设置一个stepvalue。这个参数和step很相似，step是均匀间隔变化，而multistep则是根据stepvalue值变化。

poly: 学习率进行sigmoid衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))。

文字不好理解，看图就容易多了。