Caffe学习-solver.prototxt 文件参数解析

个人微信公众号：AI研习图书馆，欢迎关注~

深度学习知识及资源分享，学习交流，共同进步~

1. 前言

solver 算是 Caffe 的核心的核心，它协调着整个模型的运作。Caffe 程序运行必带的一个参数就是solver 配置文件，solver.prototxt 文件是用来告诉 Caffe 如何训练网络的。

在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法求解。solver的主要作用就是交替调用前向（forword）算法和后向（backward）算法来更新参数，从而最小化loss，实际上就是一种迭代的优化算法。

2. solver文件介绍

Solver的流程：

1. 设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。（通过调用另外一个配置文件prototxt来进行）

2. 通过forward和backward迭代的进行优化来跟新参数。

3. 定期的评价测试网络。 （可设定多少次训练后，进行一次测试）

4. 在优化过程中显示模型和solver的状态

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法，利用梯度进行参数更新

4、记录并保存每次迭代的学习率、快照，以及对应的状态。

solver.prototxt是caffe的配置文件。里面定义了网络训练时候的各种参数，比如学习率、权重衰减、迭代次数等等。

solver文件示例

solver文件是训练网络所必须要的文件，其中定义了诸如：求解器类型、学习率、学习率的变化策略等。其命令行调用方式模式一般为：

caffe train --solver=*_slover.prototxt

接下来看一个solver配置文件的例子：

train_net: "train.prototxt"
test_net: "val.prototxt"
test_iter: 100
test_interval: 938
base_lr: 0.00999999977648
display: 1000
max_iter: 9380
lr_policy: "step"
gamma: 0.10000000149
momentum: 0.899999976158
weight_decay: 0.000500000023749
stepsize: 3000
snapshot: 4000
snapshot_prefix: "./snapshot/"
solver_mode: GPU
type: "SGD"

下面的内容将会详细讲解其中的参数，并介绍其其使用方法。

3. solver文件参数详细解析

solver文件示例

下面以 Caffe 中的 mnist 实例进行简单明了的解释：

1. net: "examples/mnist/lenet_train_test.prototxt"
2. test_iter: 100
3. test_interval: 500
4. base_lr: 0.01
5. momentum: 0.9
6. weight_decay: 0.0005
7. lr_policy: "inv"
8. gamma: 0.0001
9. power: 0.75
10. display: 100
11. max_iter: 10000
12. snapshot: 5000
13. snapshot_prefix: "examples/mnist/lenet" 
14. solver_mode: GPU

第1行：

net: "examples/mnist/lenet_train_test.prototxt"

用于设置深度网络模型，即指定网络配置文件（该实例中为 lenet_train_test.prototxt）的路径。

第2行，第3行以及第11行：

2. test_iter: 100
3. test_interval: 500
11. max_iter: 10000

test_iter 的大小为 test 数据集的总样本数与 batch_size 的比值，比如在 mnist 数据集中，有10000个测试样本，bat