深度学习框架之------caffe初级使用

本文主要讲解caffe的整个使用流程，适用于初级入门caffe，通过学习本篇博文，理清项目训练、测试流程。初级教程，高手请绕道。

我们知道，在caffe编译完后，在caffe目录下会生成一个build目录，在build目录下有个tools，这个里面有个可执行文件caffe，如下图所示：

有了这个可执行文件我们就可以进行模型的训练，只需要学会调用这个可执行文件就可以了，这便是最简单的caffe学习，不需要对caffe底层的东西懂太多，只需要会调参数，就可以构建自己的网络，然后调用这个可执行文件就可以进行训练，当然如果你不仅仅是调参数，而且想要更改相关的算法，那就要深入学习caffe的底层函数调用了，这个以后再讲。本篇博文仅适合于刚入门学习caffe，高手请绕道。废话不多说，回归正题：

本文主要讲解caffe的使用流程，其实只需要一些简单的操作就能让caffe运行起来，训练网络，完成自己对caffe的初体验。另外要强调的一点是，由于实验室要求，本教程是在windows-caffe下制作的，所有操作都是在windows环境下完成。无论在什么平台下，原理都是一样的，只是一些具体步骤的实现不同罢了。

      在最初接触caffe时，是一脸懵逼的，为什么要编译libcaffe，编译好的caffe又有什么用，打开caffe.sln后，那么多工程于我又有什么用啊！下面就让我们走近caffe，了解它，熟悉它。

      无论怎么样，先看看它的官方定义。

      caffe(ConvolutionalArchitecture for Fast Feature Embedding)是由伯克利视觉和学习中心（BVLC）开发，基于C++/MATLAB/Python实现的卷积神经网络框架，作者贾杨清。

      看完这一段我们就知道了，不要盲目学习caffe，它能完成的任务只是卷积神经网络，其他的神经网络RNN等，它是没有能力实现的。另外，caffe是主要用来做计算机视觉方向的，而计算机视觉领域，在有了ImageNet后，迎来了大灌水时代。无论是vgg16还是caffenet，无论是RCNN系列还是紧跟其后的yolo，ssd；跟踪领域，目标检测，人体骨架提取等等领域几乎都是深度学习的天下了。有位外国的老professor说过，那么多年在图像领域的积累，做出的效果却只能跟初出茅庐的学生在深度学习框架下几天做出的结果相当（原话记不住了，大意相当）。所以是，数据+深度学习=work。赶紧让caffe帮我们出成果吧。

      使用caffe的流程：

1，准备数据

2，编写网络结构文件

3，编写网络求解文件

4，开始训练

5，使用训练的模型进行预测

 

1，准备数据

      在使用机器学习算法时，最重要的一般不是相关算法的选择，而是数据的准备过程。在caffe的框架中，作者采用了两种数据格式LMDB和LEVELDB。不要被高大上的名字给吓着了，其实就是一种数据的存储方式。它们的存在主要是帮助caffe来管理数据，可以将各种各样的数据格式（BMP图片，二进制数据）转换成统一的键值对来存储，便于caffe获取并统一处理这些数据。多说一句，如果真想弄明白LMDB和LEVELDB的使用方法，可以参考caffe中的源码：db_lmdb.hpp、db_lmdb.cpp、db_leveldb.hpp和db_leveldb.cpp。

      那caffe为什么要使用LMDB和LEVELDB？直接读取原始数据不更加简单吗？

其实原因就是思考的角度不同。比如我们平时写代码，怎么方便怎么来，自己的数据是什么，就写读取该格式的代码。这样对自己来说是最方便的。但是，如果让你设计一个框架，这个框架要面临各式各样的数据，这时就不可能针对所有格式的数据都编写一个读取数据的代码。所以caffe设计的数据读取代码只针对一种数据LMDB或者LEVELDB，其他数据就转化成这两种数据格式。

另外使用LMDB和LEVELDB的另外一个原因是，好用！而且可以提高磁盘IO的利用率。

2，网络结构文件

      听这个名字就知道它是用来干什么的了，我们用caffe是来设计卷积神经网络的，卷积神经网络包括卷积层，下采样层，全连接层等等，这些层的定义都是在网络结构文件中来定义的。这个网络结构命名的后缀为.prototxt，一般命名为**_train.prototxt。如果想设计的网络的话，就要学会修改设计这个文件。同时这个文件里面会指定数据源，均值文件等信息。

在以后的学习中我们肯定要经常来修改这个文件，在这里就不详细说它了。

3，网络求解文件，这个文件的命名一般为solver.prototxt，这个文件可厉害了！被称为caffe的核心，用来指定训练过程中的超参数，协调着整个模型的运作。它的主要作用是交替调用前向算法和后向算法来更新参数，从而最小化loss，其实就是一种迭代的优化算法。

      目前的版本中，caffe提供了六种优化算法来求解最优参数，在solver文件中，通过设置type类型来选择。

Stochastic Gradient Descent (type: "SGD"),

AdaDelta (type: "AdaDelta"),

Adaptive Gradient (type: "AdaGrad"),

Adam (type: "Adam"),

Nesterov’s Accelerated Gradient (type: "Nesterov") and

RMSprop (type: "RMSProp")

 

Solver的流程：

1.     设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。（通过调用另外一个配置文件prototxt来进行）

2.     通过forward和backward迭代的进行优化来跟新参数。

3.     定期的评价测试网络。（可设定多少次训练后，进行一次测试）

4.     在优化过程中显示模型和solver的状态

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法，利用梯度进行参数更新

4、记录并保存每次迭代的学习率、快照，以及对应的状态。

 

 

# The train/test net protocol bufferdefinition

net:"examples/mnist/lenet_train_test.prototxt"

# test_iter specifies how many forwardpasses the test should carry out.

# In the case of MNIST, we have test batchsize 100 and 100 test iterations,

# covering the full 10,000 testing images.

test_iter: 100

# Carry out testing every 500 trainingiterations.

test_interval: 500

# The base learning rate, momentum and theweight decay of the network.

base_lr: 0.01

momentum: 0.9

weight_decay: 0.0005

# The learning rate policy

lr_policy: "inv"

gamma: 0.0001

power: 0.75

# Display every 100 iterations

display: 100

# The maximum number of iterations

max_iter: 10000

# snapshot intermediate results

snapshot: 5000

snapshot_prefix:"examples/mnist/lenet"

# solver mode: CPU or GPU

solver_mode: CPU

 

接下来，我们对每一行进行详细解译：

 net: "examples/mnist/lenet_train_test.prototxt"
设置深度网络模型。每一个模型就是一个net，需要在一个专门的配置文件中对net进行配置，每个net由许多的layer所组成。每一个layer的具体配置方式可参考本系列文文章中的（2）-（5）。注意的是：文件的路径要从caffe的根目录开始，其它的所有配置都是这样。

也可用train_net和test_net来对训练模型和测试模型分别设定。例如：

 train_net: "examples/hdf5_classification/logreg_auto_train.prototxt"
test_net: "examples/hdf5_classification/logreg_auto_test.prototxt"
接下来第二行：

 test_iter: 100
这个要与test layer中的batch_size结合起来理解。mnist数据中测试样本总数为10000，一次性执行全部数据效率很低，因此我们将测试数据分成几个批次来执行，每个批次的数量就是batch_size。假设我们设置batch_size为100，则需要迭代100次才能将10000个数据全部执行完。因此test_iter设置为100。执行完一次全部数据，称之为一个epoch

 test_interval: 500
测试间隔。也就是每训练500次，才进行一次测试。

 base_lr: 0.01
lr_policy: "inv"
gamma: 0.0001
power: 0.75
这四行可以放在一起理解，用于学习率的设置。只要是梯度下降法来求解优化，都会有一个学习率，也叫步长。base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率进行调整。怎么样进行调整，就是调整的策略，由lr_policy来设置。

lr_policy可以设置为下面这些值，相应的学习率的计算为： 

- fixed:　　 保持base_lr不变.

- step:　　 如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数

- exp:  　　返回base_lr * gamma ^ iter， iter为当前迭代次数

- inv:　　    如果设置为inv,还需要设置一个power,返回base_lr * (1 + gamma * iter) ^ (- power)

- multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据                                stepvalue值变化

- poly:　　  学习率进行多项式误差,返回 base_lr (1 - iter/max_iter) ^ (power)

- sigmoid:　学习率进行sigmod衰减，返回 base_lr (1/(1 + exp(-gamma * (iter - stepsize))))

multistep示例：

 base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "multistep"
gamma: 0.9
stepvalue: 5000
stepvalue: 7000
stepvalue: 8000
stepvalue: 9000
stepvalue: 9500

接下来的参数：

 momentum ：0.9
上一次梯度更新的权重，具体可参看下一篇文章。

 type: SGD
优化算法选择。这一行可以省掉，因为默认值就是SGD。总共有六种方法可选择，在本文的开头已介绍。

 weight_decay: 0.0005
权重衰减项，防止过拟合的一个参数。

 display: 100
每训练100次，在屏幕上显示一次。如果设置为0，则不显示。

 max_iter: 20000
最大迭代次数。这个数设置太小，会导致没有收敛，精确度很低。设置太大，会导致震荡，浪费时间。

 snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
快照。将训练出来的model和solver状态进行保存，snapshot用于设置训练多少次后进行保存，默认为0，不保存。snapshot_prefix设置保存路径。

还可以设置snapshot_diff，是否保存梯度值，默认为false,不保存。

也可以设置snapshot_format，保存的类型。有两种选择：HDF5和BINARYPROTO，默认为BINARYPROTO

 solver_mode: CPU
设置运行模式。默认为GPU,如果你没有GPU,则需要改成CPU,否则会出错。

 

注意：以上的所有参数都是可选参数，都有默认值。根据solver方法（type)的不同，还有一些其它的参数，在此不一一列举。

 

4开始训练

在windows下的话只需要新建一个.bat文件，内容如下：

      .\Build\x64\Release\caffe.exe train --solver=.\data\vap\solver.prototxt 

 

这就很清楚了,让caffe.exe去先找到solver.prototxt文件，solver文件会找到网络结构文件，并且制定超参数。这样就会网络就开始训练起来了。
 

本文转载自原文：https://blog.csdn.net/u010725283/article/details/78564881