solver参数

solver.prototxt

DL的任务中，几乎找不到解析解，所以将其转化为数学中的优化问题。sovler的主要作用就是交替调用前向传导和反向传导 (forward & backward) 来更新神经网络的连接权值，从而达到最小化loss，实际上就是迭代优化算法中的参数。

Caffe的solver类提供了6种优化算法，配置文件中可以通过type关键字设置：

    Stochastic Gradient Descent (type: “SGD”)
    AdaDelta (type: “AdaDelta”)
    Adaptive Gradient (type: “AdaGrad”)
    Adam (type: “Adam”)
    Nesterov’s Accelerated Gradient (type: “Nesterov”)
    RMSprop (type: “RMSProp”)

简单地讲，solver就是一个告诉caffe：你的网络怎么被训练的一个配置文件。
Solver.prototxt 流程

    首先设计好需要优化的对象，以及用于学习的训练网络和测试网络的prototxt文件（通常是train.prototxt和test.prototxt文件）
    通过forward和backward迭代进行优化来更新参数
    定期对网络进行评价
    优化过程中显示模型和solver的状态

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法，利用梯度进行参数更新

4、记录并保存每次迭

代的学习率、快照，以及对应的状态。

solver参数
 

train/test_net：训练/测试的模型文件路径。

test_iter：表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试，所以为了能将validation集中所有图片都测试一次，这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即test_iter*batchSize=val_num。

test_interval：表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224，即网络每迭代224次即对网络的准确率进行一次验证。一般来说，我们需要将训练集中所有图片都跑一编，再