如何生成Solver配置文件---caffe

solver是caffe的核心，也被称为优化器，在DeepLearning中通常是没有解析解的，我们只能通过优化的方案来求解，solver的主要作用就是交替调用前向传播和后向传播算法来交替更新参数。
solver的流程：
1. 设计好优化的对象---编写train.prototxt文件
2. 通过forward来计算最终的输出值，以及对应的loss
3. 通过backward计算每一层的梯度
4. 根据选用的solver算法来利用梯度进行更新
5. 定期的评价测试训练的网络
6. 记录并保存每一次迭代的学习率，快照，以及对应的状态

如何写solver文件：

from caffe.proto import caffe_pb2
s = caffe_pb2.SolverParameter()
path='/home/xxx/data/'
solver_file=path+'solver.prototxt'      # solver文件保存位置

s.train_net = path+'train.prototxt'     # 训练配置文件
s.test_net.append(path+'val.prototxt')  # 测试配置文件
s.test_interval = 782                   # 测试间隔
s.test_iter.append(100)                 # 测试迭代次数，结合batch_size来理解
s.max_iter = 78200                      # 最大迭代次数
s.momentum = 0.9                        # momentum系数
s.weight_decay = 5e-4                   # 权值衰减系数

#学习率的设置在下面会详细来讲
s.base_lr = 0.001                       # 基础学习率
s.lr_policy = 'step'                    # 学习率衰减方法
s.stepsize=10000                        # 此值仅对step方法有效
s.gamma = 0.1                           # 学习率衰减指数

s.display = 782                         # 屏幕日志显示间隔，如果为0则不显示
s.snapshot = 7820                       # 保存模型的间隔
s.snapshot_prefix = 'model/snapshot'    # 保存在model文件夹下，文件名以snapshot开头
s.type = “SGD”                          # 优化算法
s.solver_mode = caffe_pb2.SolverParameter.GPU  # 设置计算方式

with open(solver_file, 'w') as f:
    f.write(str(s))

学习率的设置。只要是梯度下降法来求解优化，都会有一个学习率，也叫步长。base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率根据指定的策略进行调整，由lr_policy来设置。

lr_policy可以设置为下面这些值，相应的学习率的计算为：

- fixed:　　 
保持base_lr不变.
- step: 　　 
如果设置为step,则还需要设置stepsize和gamma,返回 base_lr*gamma^(floor(iter/stepsize)),其中iter表示当前的迭代次数。
- exp:   　　
还需要设置gamma，返回base_lr*gamma^iter，iter为当前迭代次数
- inv:　　    
如果设置为inv,还需要设置power和gamma, 返回base_lr*(1+gamma*iter)^(-power)
- multistep:
s.stepvalue.append(10000)
s.stepvalue.append(20000) 
s.stepvalue.append(30000)  如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据stepvalue值变化 
- poly: 　　  
学习率进行多项式误差,返回 base_lr (1 - iter/max_iter) ^ (power)
- sigmoid:　
学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))