caffe中base_lr、blobs_lr和lr_policy

原创 2016年07月18日 16:36:47

caffe调整学习率的.

base_lr是适用于所有层的学习率,而针对单个层,可以通过增加两个blobs_lr,用来调整该层的学习率.

一个调整weight的学习率,一个是调整偏执b的学习率。那么该层的学习率就变成了,base_lr*blobs_lr,base_lr*blobs_lr了。

base_lr: 0.01
lr_policy: "inv"
gamma: 0.0001
power: 0.75

这四行可以放在一起理解,用于学习率的设置。只要是梯度下降法来求解优化,都会有一个学习率,也叫步长。base_lr用于设置基础学习率,在迭代的过程中,可以对基础学习率进行调整。怎么样进行调整,就是调整的策略,由lr_policy来设置。

lr_policy可以设置为下面这些值,相应的学习率的计算为:

    • - fixed:   保持base_lr不变.
    • - step:    如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
    • - exp:     返回base_lr * gamma ^ iter, iter为当前迭代次数
    • - inv:      如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
    • - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据                                 stepvalue值变化
    • - poly:     学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
    • - sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Caffe傻瓜系列(11):caffe中的lr_policy选择

在自己配置训练网络时的solver文件中这个参数选择有好多种策略。 接下来看看caffe.proto文件的这个参数: // The learning rate decay policy. The ...

【深度学习】caffe 中的一些参数介绍

caffe 是非常强大的深度学习框架,作为使用者,我们当然要对它的一些配置参数有一定的认识,本文简单介绍了caffe中的一些参数,持续更新中......
  • cyh24
  • cyh24
  • 2016年05月30日 14:33
  • 25162

caffe中的lr_policy选择

在自己配置训练网络时,solver文件中lr_policy这个参数选择有好多种策略。 接下来看看/caffe-master/src/caffe/proto/caffe.proto文件中队这个参数的说明...

caffe下的base_lr和blobs_lrhttp://www.cnblogs.com/jianyingzhou/p/4389504.html

原文地址:http://www.cnblogs.com/jianyingzhou/p/4389504.html caffe里面,原来以为是不可以随便调整学习率的,现在看来是可以的。base_lr...

【神经网络与深度学习】如何在Caffe中配置每一个层的结构

如何在Caffe中配置每一个层的结构 最近刚在电脑上装好Caffe,由于神经网络中有不同的层结构,不同类型的层又有不同的参数,所有就根据Caffe官网的说明文档做了一个简单的总结。 ...

Caffe的各种层定义方法

1. Vision Layers1.1 卷积层(Convolution)类型:CONVOLUTION 例子layer { name: "conv1" type: "Convolution" ...

如何在caffe中添加新的Layer

本文分为两部分,先写一个入门的教程,然后再给出自己添加maxout与NIN的layer的方法...

Caffe错误:Message type "caffe.SolverParameter" has no field named "name"

今天使用caffe又遇到个奇怪的问题,错误提示如下: 注意错误提示,没有找到“name”,错误原因是我把参数写错了,注意最上面--caffe.exe train --solver=(这个地方...

python 训练caffe_ssd数据

python 训练caffe_ssd数据
  • tfy1028
  • tfy1028
  • 2016年11月22日 17:40
  • 3859

caffe学习笔记(4):lr_policy之各模型形式的总结

lr_policy总结
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe中base_lr、blobs_lr和lr_policy
举报原因:
原因补充:

(最多只允许输入30个字)