caffe中base_lr、blobs_lr和lr_policy

原创 2016年07月18日 16:36:47

caffe调整学习率的.

base_lr是适用于所有层的学习率,而针对单个层,可以通过增加两个blobs_lr,用来调整该层的学习率.

一个调整weight的学习率,一个是调整偏执b的学习率。那么该层的学习率就变成了,base_lr*blobs_lr,base_lr*blobs_lr了。

base_lr: 0.01
lr_policy: "inv"
gamma: 0.0001
power: 0.75

这四行可以放在一起理解,用于学习率的设置。只要是梯度下降法来求解优化,都会有一个学习率,也叫步长。base_lr用于设置基础学习率,在迭代的过程中,可以对基础学习率进行调整。怎么样进行调整,就是调整的策略,由lr_policy来设置。

lr_policy可以设置为下面这些值,相应的学习率的计算为:

    • - fixed:   保持base_lr不变.
    • - step:    如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
    • - exp:     返回base_lr * gamma ^ iter, iter为当前迭代次数
    • - inv:      如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
    • - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据                                 stepvalue值变化
    • - poly:     学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
    • - sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

版权声明:本文为博主原创文章,未经博主允许不得转载。

Caffe的各种层定义方法

1. Vision Layers1.1 卷积层(Convolution)类型:CONVOLUTION 例子layer { name: "conv1" type: "Convolution" ...
  • u010359545
  • u010359545
  • 2015年10月29日 10:36
  • 1462

如何在caffe中添加新的Layer

本文分为两部分,先写一个入门的教程,然后再给出自己添加maxout与NIN的layer的方法...
  • kuaitoukid
  • kuaitoukid
  • 2014年12月11日 15:37
  • 42548

【深度学习】caffe 中的一些参数介绍

caffe 是非常强大的深度学习框架,作为使用者,我们当然要对它的一些配置参数有一定的认识,本文简单介绍了caffe中的一些参数,持续更新中......
  • cyh24
  • cyh24
  • 2016年05月30日 14:33
  • 30037

Caffe傻瓜系列(11):caffe中的lr_policy选择

在自己配置训练网络时的solver文件中这个参数选择有好多种策略。 接下来看看caffe.proto文件的这个参数: // The learning rate decay policy. The ...
  • langb2014
  • langb2014
  • 2016年04月28日 15:10
  • 11390

Caffe中学习率策略应如何选择

今天,在训练网络时想换一种学习策略试试,因此重新研究了一下Caffe中提供的各种学习率策略,在这里和大家聊聊我使用时的一些经验教训。 我们先来看看和学习率策略有关的参数,以下的内容来自caffe.pr...
  • Sunshine_in_Moon
  • Sunshine_in_Moon
  • 2016年12月11日 00:28
  • 7541

Caffe的solver参数介绍

Caffe的solver参数介绍
  • Quincuntial
  • Quincuntial
  • 2017年03月01日 15:44
  • 862

caffe学习笔记(一):mnist

caffe-mnist实例的官方链接http://caffe.berkeleyvision.org/gathered/examples/mnist.html 1、在安装成功caffe的基础上运行mn...
  • xiaoju222
  • xiaoju222
  • 2015年02月09日 14:41
  • 2709

caffe学习笔记(4):lr_policy之各模型形式的总结

lr_policy总结
  • qq_30401249
  • qq_30401249
  • 2016年05月20日 11:37
  • 4336

caffe中的lr_policy

这几天在看caffe的小实验时,发现solver文件中都出现了lr_policy(学习率下降策略),但由于没有明确说明,故一直不太明白他们的下降原理。网上搜索一番之后,发现对于这个的东西的介绍就在/c...
  • u013078356
  • u013078356
  • 2016年03月14日 17:17
  • 7006

常见优化算法 (caffe和tensorflow对应参数)

常见优化算法 (caffe和tensorflow对应参数)算法可视化常见算法SGDx+= -learning_rate*dxMomentumMomentum可以使SGD不至于陷入局部鞍点震荡,同时起到...
  • csyanbin
  • csyanbin
  • 2016年12月05日 02:25
  • 9544
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe中base_lr、blobs_lr和lr_policy
举报原因:
原因补充:

(最多只允许输入30个字)