Caffe 学习系列（5）： 生成 solver 文件

引言

Caffe 在训练的时候，需要设置一些参数，我们将这些参数设置在一个 solver.prototxt 的文件里面，如下：

base_lr: 0.001
display: 782
gamma: 0.1
lr_policy: “step”
max_iter: 78200
momentum: 0.9
snapshot: 7820
snapshot_prefix: “snapshot”
solver_mode: GPU
solver_type: SGD
stepsize: 26067
test_interval: 782
test_iter: 313
test_net: “/home/xxx/data/val.prototxt”
train_net: “/home/xxx/data/proto/train.prototxt”
weight_decay: 0.0005

这些参数不是随意设置的，存在一定的内在逻辑关系。

假如我们有 50000 个训练样本，  batch_size 为64（prototxt 文件中体现），即每批次处理 64 个样本，那么需要迭代 50000/64 = 782 次才能处理完一次全部的样本。我们把处理完一次所有的样本称之为一代，即 epoch。所以，这里的 test_interval 设置为 782，即处理完一次所有的训练数据后，才去进行测试。如果我们想训练 100 代，则需要设置 max_iter 为 78200.

同理，如果我们有 10000 个测试样本， batch_size 设为 32，那么需要迭代 10000/32 = 313 （向上取整）次才能完整的测试完一次，所以设置 test_iter 为 313.

学习率变化规律我们设置为随着迭代次数的增加，慢慢变低。总共迭代 78200 次。我们将变化 lr_rate 三次，所以stepsize 设置为 78200/3 = 26067， 即每迭代 26067次，我们降低一次学习率。

 

python 代码生成 solver 文件：

# -*- coding: utf-8 -*-

path='/home/xxx/data/'
solver_file=path+'solver.prototxt'     #solver文件保存位置

sp={}
sp['train_net']=‘“’+path+'train.prototxt”'  # 训练配置文件
sp['test_net']=‘“’+path+'val.prototxt”'     # 测试配置文件
sp['test_iter']='313'                  # 测试迭代次数
sp['test_interval']='782'              # 测试间隔
sp['base_lr']='0.001'                  # 基础学习率
sp['display']='782'                    # 屏幕日志显示间隔
sp['max_iter']='78200'                 # 最大迭代次数
sp['lr_policy']='“step”'                 # 学习率变化规律
sp['gamma']='0.1'                      # 学习率变化指数
sp['momentum']='0.9'                   # 动量
sp['weight_decay']='0.0005'            # 权值衰减
sp['stepsize']='26067'                 # 学习率变化频率
sp['snapshot']='7820'                   # 保存model间隔
sp['snapshot_prefix']=‘"snapshot"’       # 保存的model前缀
sp['solver_mode']='GPU'                # 是否使用gpu
sp['solver_type']='SGD'                # 优化算法

def write_solver():
    #写入文件
    with open(solver_file, 'w') as f:
        for key, value in sorted(sp.items()):
            if not(type(value) is str):
                raise TypeError('All solver parameters must be strings')
            f.write('%s: %s\n' % (key, value))
if __name__ == '__main__':
    write_solver()

执行上面的文件，我们就会得到一个 solver.prototxt 文件，有了这个文件，我们下一步就可以进行训练了。

当然，如果觉得上面的键值对的字典方式写起来比较容易出错，我们也可以使用另外一种方法生成 solver 文件：

from caffe.proto import caffe_pb2
s = caffe_pb2.SolverParameter()

path='/home/xxx/data/'
solver_file=path+'solver1.prototxt'

s.train_net = path+'train.prototxt'
s.test_net.append(path+'val.prototxt')
s.test_interval = 782  
s.test_iter.append(313) 
s.max_iter = 78200 

s.base_lr = 0.001 
s.momentum = 0.9
s.weight_decay = 5e-4
s.lr_policy = 'step'
s.stepsize=26067
s.gamma = 0.1
s.display = 782
s.snapshot = 7820
s.snapshot_prefix = 'shapshot'
s.type = “SGD”
s.solver_mode = caffe_pb2.SolverParameter.GPU

with open(solver_file, 'w') as f:
    f.write(str(s))