Caffe入门:caffe solver.prototxt详解

solver算是caffe的核心的核心,它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件

在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法求解。solver的主要作用就是交替调用前向(forword)算法和后向(backward)算法来更新参数,从而最小化loss,实际上就是一种迭代的优化算法。

 

Solver的流程:

1.  设计好需要优化的对象,以及用于学习的训练网络和用于评估的测试网络。(通过调用另外一个配置文件prototxt来进行)

2. 通过forward和backward迭代的进行优化来跟新参数。

3. 定期的评价测试网络。(可设定多少次训练后,进行一次测试)

4. 在优化过程中显示模型和solver的状态

 

在每一次的迭代过程中,solver做了这几步工作:

1、调用forward算法来计算最终的输出值,以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法,利用梯度进行参数更新

4、记录并保存每次迭代的学习率、快照,以及对应的状态。

 

solver.prototxt是caffe的配置文件。里面定义了网络训练时候的各种参数,比如学习率、权重衰减、迭代次数等等。下面详细说明每一个参数所代表的意义:

train_net:"train.prototxt"
test_net:"test.prototxt"
test_iter: 299  
test_interval: 224  
base_lr: 0.01  
display: 20  
max_iter: 6720  
lr_policy: "step"  
gamma: 0.1  
power: 0.75
momentum: 0.9  
weight_decay: 0.0001  
snapshot: 224  
snapshot_prefix: "snapshot"  
solver_mode: GPU  
device_id:0
debug_info:false
snapshot_after_train:true
test_initialization:false
average_loss:10
iter_size:1
stepsize:2218
type: SGD  
eval_type:"detection"
ap_version:"11point"
show_per_class_result:true

参数解释:

train/test_net:训练/测试的模型文件路径。

test_iter:表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试,所以为了能将validation集中所有图片都测试一次,这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即test_iter*test_batchSize=val_num

test_interval:表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224,即网络每迭代224次即对网络的准确率进行一次验证。一般来说,我们需要将训练集中所有图片都跑一编,再对网络的准确率进行测试,整个参数乘以网络data层(TRAIN)中batchSize参数应该等于测试集中图片总数量。即test_interval*train_batchSize=train_num

base_lr:表示网络的基础学习率。学习率过高可能导致loss持续86.33333,也可能导致loss无法收敛等等问题。过低的学习率会使网络收敛慢,也有可能导致梯度损失。一般我们设置为0.01。

display: 每多少次显示一次。

max_iter: 网络的最大迭代次数。训练集中的图片当然不能只训练一次就算了,要反复多次的进行训练,所以这个参数应该要大一些。

lr_policy: 学习率变化。

lr_policy可以设置为下面这些值,相应的学习率的计算为:

o  - fixed: 保持base_lr不变.

o  - step:  如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数

o  - exp: 返回base_lr * gamma ^ iter, iter为当前迭代次数

o  - inv: 如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)

o - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据stepvalue值变化

o  - poly:  学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)

o  - sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

gamma: 学习率变化比率。用于调整学习率的一个参数。

power: 也是用于调整学习率的一个参数

momentum: 上一次梯度更新的权重,一般取值在0.5--0.99之间。通常设为0.9,momentum可以让使用SGD的深度学习方法更加稳定以及快速。

weight_decay: 权重衰减项,防止过拟合的一个参数。weight decay(权值衰减)使用的目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。。

snapshot: 每多少次保存一次学习的结果。即caffemodel。

snapshot_prefix:设置保存路径。

solver_mode: 设置使用GPU还是CPU进行学习训练。

device_id: GPU序列号,默认从0开始。

debug_info: 是否显示debug信息。

snapshot_after_train: 是否在训练结束后保存一个snapshot文件。便于以后可以在此基础上继续训练。

test_initialization:确保内存可用并且输出loss的初始值。

average_loss: 显示loss为之前average_loss个loss的平均值。

iter_size: 每处理iter_size*batch_size张图片后进行一次梯度计算。

stepsize: 每多少次学习率递减。这里是迭代2218次学习率递减

type: 优化算法的选择,一共有六种可选:SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp。默认为SGD。

eval_type: 评价类型。

ap_version:计算平均准确率的方法。有11point、MaxIntegral、Integral三种。

11point:是SSD在VOC2007中计算AP的方法,11point是使用简单的均值计算

MaxIntegral:是VOC2012的最大值积分法

Integral:普通积分方法

show_per_class_result:在终端输出每一类的AP(每一类的检测精度)信息。

发布了185 篇原创文章 · 获赞 874 · 访问量 128万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览