caffe 参数介绍

原创 2016年08月30日 15:09:26

solver.prototxt

net: "models/bvlc_alexnet/train_val.prototxt" 
test_iter: 1000       # 
test_interval: 1000   # 
base_lr: 0.01         # 开始的学习率
lr_policy: "step"     # 学习率的drop是以gamma在每一次迭代中
gamma: 0.1
stepsize: 100000      # 每stepsize的迭代降低学习率:乘以gamma
display: 20           # 没display次打印显示loss
max_iter: 450000      # train 最大迭代max_iter 
momentum: 0.9         #
weight_decay: 0.0005  #
snapshot: 10000       # 没迭代snapshot次,保存一次快照
snapshot_prefix:   "models/bvlc_reference_caffenet/caffenet_train"
solver_mode: GPU      # 使用的模式是GPU 

test_iter
在测试的时候,需要迭代的次数,即test_iter* batchsize(测试集的)=测试集的大小,测试集的 batchsize可以在prototx文件里设置。

test_interval
训练的时候,每迭代test_interval次就进行一次测试。

momentum
灵感来自于牛顿第一定律,基本思路是为寻优加入了“惯性”的影响,这样一来,当误差曲面中存在平坦区的时候,SGD可以更快的速度学习。

wi←m∗wi−η∂E/∂wi

train_val.prototxt

layer { # 数据层
    name: "data"
    type: "Data"
    top: "data"
    top: "label"
    include {
        phase: TRAIN # 表明这是在训练阶段才包括进去
    }
    transform_param { # 对数据进行预处理
        mirror: true # 是否做镜像
        crop_size: 227
        # 减去均值文件
        mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
    }
    data_param { # 设定数据的来源
        source: "examples/imagenet/ilsvrc12_train_lmdb"
        batch_size: 256
        backend: LMDB
    }
}
layer {
    name: "data"
    type: "Data"
    top: "data"
    top: "label"
    include {
        phase: TEST # 测试阶段
    }
    transform_param {
        mirror: false # 是否做镜像
        crop_size: 227
        # 减去均值文件
        mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
    }
    data_param {
        source: "examples/imagenet/ilsvrc12_val_lmdb"
        batch_size: 50
        backend: LMDB
    }
}

lr_mult
学习率,但是最终的学习率需要乘以 solver.prototxt 配置文件中的 base_lr .

如果有两个 lr_mult, 则第一个表示 weight 的学习率,第二个表示 bias 的学习率
一般 bias 的学习率是 weight 学习率的2倍’
decay_mult
权值衰减,为了避免模型的over-fitting,需要对cost function加入规范项。

wi←wi−η∂E/∂wi−ηλwi

num_output
卷积核(filter)的个数

kernel_size
卷积核的大小。

如果卷积核的长和宽不等,需要用 kernel_h 和 kernel_w 分别设定
stride
卷积核的步长,默认为1。也可以用stride_h和stride_w来设置。

pad
扩充边缘,默认为0,不扩充。

扩充的时候是左右、上下对称的,比如卷积核的大小为5*5,那么pad设置为2,则四个边缘都扩充2个像素,即宽度和高度都扩充了4个像素,这样卷积运算之后的特征图就不会变小。
也可以通过pad_h和pad_w来分别设定。
weight_filler
权值初始化。 默认为“constant”,值全为0.
很多时候我们用”xavier”算法来进行初始化,也可以设置为”gaussian”

weight_filler {
    type: "gaussian"
    std: 0.01
}

bias_filler
偏置项的初始化。一般设置为”constant”, 值全为0。

bias_filler {
    type: "constant"
    value: 0
}

bias_term

是否开启偏置项,默认为true, 开启

group
分组,默认为1组。如果大于1,我们限制卷积的连接操作在一个子集内。
卷积分组可以减少网络的参数,至于是否还有其他的作用就不清楚了。

每个input是需要和每一个kernel都进行连接的,但是由于分组的原因其只是与部分的kernel进行连接的
如: 我们根据图像的通道来分组,那么第i个输出分组只能与第i个输入分组进行连接。
pool
池化方法,默认为MAX。目前可用的方法有 MAX, AVE, 或 STOCHASTIC

dropout_ratio
丢弃数据的概率

版权声明:本文为博主原创文章,未经博主允许不得转载 欢迎交流~

Caffe的solver参数介绍

Caffe的solver参数介绍
  • Quincuntial
  • Quincuntial
  • 2017年03月01日 15:44
  • 881

caffe 参数介绍

版权声明:如需转载,请附上本文链接,不甚感激!作者主页:http://blog.csdn.net/cyh_24 目录(?)[+] caffe 参数介绍 solver.prototxt...
  • mmmmmttttff
  • mmmmmttttff
  • 2016年06月12日 09:03
  • 648

caffe中参数介绍

转自http://www.mamicode.com/info-detail-1368127.html caffe 参数介绍 solver.prototxt net: "model...
  • wangkun1340378
  • wangkun1340378
  • 2017年08月14日 14:23
  • 142

Caffe windows 下进行(微调)fine-tune 模型

小菜最近一直在学习caffe。今天小菜主要介绍一下如何在Caffe上微调网络(ps:小菜中间也出现了许多问题,不过很感谢网上的一些前辈的无私奉献),一般比较经典的深度学习模型是别人训练好的模型,例如分...
  • xjz18298268521
  • xjz18298268521
  • 2016年07月29日 09:25
  • 4438

[Caffe] Caffe介绍

Caffe是一个计算CNN相关算法的框架,由Yangqing Jia老师编写和维护的,代替了之前的decaf工具。...
  • chlele0105
  • chlele0105
  • 2014年07月17日 15:29
  • 6589

Caffe 框架介绍

1.Caffe是一种开源软件框架,内部提供了一套基本的编程框架,或者说一个模板框架,用以实现GPU并行架构下的深度卷积神经网络,Deep Learning等算法,我们可以按照框架定义各种各样的卷积神经...
  • xiaoyang19910623
  • xiaoyang19910623
  • 2016年09月20日 14:24
  • 7297

DL学习笔记【5】caffe参数调节-solver文件

solver文件: # 定义网络结构的文件 net: "deblurring_train_test.prototxt" # test_iter 测试集向前传递多少次 # batch size * te...
  • Sun7_She
  • Sun7_She
  • 2016年07月26日 13:12
  • 5617

caffe在prototxt文件加参数

prototxt文件加参数实现:solver.prototxt加参和train_test.prototxt加参。 ===========================================...
  • langb2014
  • langb2014
  • 2016年01月08日 20:43
  • 6116

caffe 中的一些参数介绍

原文链接 http://blog.csdn.net/cyh_24/article/details/51537709 刚学习的新手可以参考下该文章,后续更新自己的心得体会 caffe 参数介绍 ...
  • uncle_ll
  • uncle_ll
  • 2017年03月28日 10:53
  • 753

Caffe学习笔记1:初识caffe篇(caffe介绍)

小菜一开始学习caffe的时候,是去网上找了一些有关caffe的介绍的资料和一些博客,还看了caffe的创建者贾扬清对caffe的一个简单介绍,如果英语比较好的人,你们可以去贾扬清的主页上去看看caf...
  • xjz18298268521
  • xjz18298268521
  • 2016年08月12日 11:20
  • 3655
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe 参数介绍
举报原因:
原因补充:

(最多只允许输入30个字)