老卫带你学---深度学习中各种学习率的比较

在深度学习中，学习率对于我们是否可以快速找到局部最小值小值非常重要，而caffe为我们提供了如下学习率:

• fixed:　　 保持base_lr不变.
  

• step: 　　 如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
  

• exp:   　　返回base_lr * gamma ^ iter， iter为当前迭代次数
  

• inv:　　    如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
  

• multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据                                 stepvalue值变化
  

• poly: 　　  学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
  

• sigmoid:　学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))