caffe中Solver文件及其参数含义

在Deep Learning中，往往lossfunction是非凸的，没有解析解，我们需要通过优化方法来求解。solver的主要作用就是交替调用前向（forward)算法和后向（backward)算法来更新参数，从而最小化loss，实际上就是一种迭代的优化算法。

到目前的版本，caffe提供了六种优化算法来求解最优参数，在solver配置文件中，通过设置type类型来选择。

·        Stochastic Gradient Descent (type:"SGD"),

·        AdaDelta (type: "AdaDelta"),

·        Adaptive Gradient (type:"AdaGrad"),

·        Adam (type: "Adam"),

·        Nesterov’s Accelerated Gradient (type:"Nesterov") and

·        RMSprop (type: "RMSProp")

·        Solver的流程：

·        1.     设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。（通过调用另外一个配置文件prototxt来进行）

·        2.     通过forward和backward迭代的进行优化来跟新参数。

·        3.     定期的评价测试网络。（可设定多少次训练后，进行一次测试）

·        4.     在优化过程中显示模型和solver的状态

·        在每一次的迭代过程中，solver做了这几步工作：

·        1、调用forward算法来计算最终的输出值，以及对应的loss

·        2、调用backward算法来计算每层的梯度

·        3、根据选用的slover方法，利用梯度进行参数更新

·        4、记录并保存每次迭代的学习率、快照，以及对应的状态。

·        接下来，我们先来看一个实例：

test_iter : 在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）=测试集的大小，测试集的 batchsize可以在prototx文件里设置.这个要与test layer中的batch_size结合起来理解。mnist数据中测试样本总数为10000，一次性执行全部数据效率很低，因此我们将测试数据分成几个批次来执行，每个批次的数量就是batch_size。假设我们设置batch_size为100，则需要迭代100次才能将10000个数据全部执行完。因此test_iter设置为100。执行完一次全部数据，称之为一个epoch

test_interval : 训练的时候，每迭代test_interval次就进行一次测试。测试间隔。也就是每训练1000次，才进行一次测试。

base_lr: lr过大会导致不收敛，过小会导致收敛过慢，所以这个参数设置也很重要

lr_policy:这个参数代表的是learningrate应该遵守什么样的变化规则，这个参数对应的是字符串，选项及说明如下：

·        “step” - 需要设置一个stepsize参数，返回base_lr * gamma^ ( floor ( iter / stepsize ) )，iter为当前迭代次数

·        “multistep” - 和step相近，但是需要stepvalue参数，step是均匀等间隔变化，而multistep是根据stepvalue的值进行变化

·        “fixed” - 保持base_lr不变

·        “exp” - 返回base_lr * gamma ^ iter, iter为当前迭代次数

·        “poly” - 学习率进行多项式误差衰减，返回 base_lr ( 1 - iter / max_iter ) ^ ( power )

·        “sigmoid” - 学习率进行sigmod函数衰减，返回 base_lr ( 1/ 1＋exp ( -gamma * ( iter - stepsize ) ) )

·        如果loss降不下去，就改学习速率---------------或者也可能是数据出错）

Gamma:这参数和learningrate相关，lr_policy中包含此参数的话，需要设置，一般是一个实数。

Stepsize:就是每迭代stepsize次，就更新一次学习率。

max_iter:最大迭代次数，这个数值告诉网络何时停止训练，太小会达不到收敛，太大会导致震荡，浪费时间，

momentum :上一次梯度更新的权重,灵感来自于牛顿第一定律，基本思路是为寻优加入了“惯性”的影响，这样一来，当误差曲面中存在平坦区时，SGD可以更快的速度学习。 

weight_decay:权重衰减项，防止过拟合的一个参数。

iter_size：这个参数乘上train.prototxt中的batch size是你实际使用的batchsize。相当于读取batchsize* itersize个图像才做一下gradient decent。这个参数可以规避由于gpu内存不足而导致的batchsize的限制因为你可以用多个iteration做到很大的batch 即使单次batch有限。

average_loss:取多次foward的loss作平均，进行显示输出。

Display:间隔多久对结果进行输出