【Caffe实践】如何利用Caffe训练ImageNet分类网络

源文章：https://github.com/BVLC/caffe/tree/master/examples/imagenet

由于要使用Caffe进行深度学习的二次开发，所以找到上面这个如何训练网络的一些操作过程，不是每一句都翻译过来，但是终究不是原创，权当做自己的学习笔记。

==========================================

      1.下载好来自ImageNet的training和validation数据集合；分别存放在如下的格式：
    /path/to/imagenet/train/n01440764/n01440764_10026.JPEG

     /path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG
2. 进行一些预处理操作：
      cd $CAFFE_ROOT/data/ilsvrc12/

    ./get_ilsvrc_aux.sh

3.训练数据和测试数据分别放在train.txt和val.txt中，里面有他们的文件和相对应的标签；
4. 最后作者把1000类的类名用0--999表示，他们相对应的类别名称则用synset_words.txt 来存储他们之间的映射。

5.作者提到怎么去是否应该先把图像都归一化到256*256中，作者提到用Mapreduce去加快这种过程；

也可以直接这么做：
for name in /path/to/imagenet/val/*.JPEG; do

   convert -resize 256x256\! $name $name

Done

6.在 create_imagenet.sh中设置训练的参数，并在里面指定训练和测试的数据库路径，如果图像没有提前归一化到相同的大小，则需要加”RESIZE=true“，设置”GLOG_logtostderr=1 “表示了可以参考更多的信息，
    在执行 ./create_imagenet.sh 之后会有新的数据文件生成：
      ilsvrc12_train_leveldb  和   ilsvrc12_val_leveldb 
7. 因为模型需要我们减去图像的均值，所以我们需要计算图像均值，在工具
     tools/compute_image_mean.cpp  实现了这种操作，

   或者可以直接用：
    ./make_imagenet_mean.sh  脚本来进行计算图像均值，并生成：
    data/ilsvrc12/imagenet_mean.binaryproto 文件

8.定义网络的结构：imagenet_train_val.prototxt .
   里面有两行指定了数据库和图像的路径
   source: "ilvsrc12_train_leveldb"

  mean_file:"../../data/ilsvrc12/imagenet_mean.binaryproto"
   并且指定了 include { phase: TRAIN } or include { phase: TEST } .来区分训练和测试

9.关于输入层的不同：
   训练数据中，，data项来自 ilsvrc12_train_leveldb  并且进行了随机镜像操作，测试数据中data项来自于ilsvrc12_val_leveldb 而没有进行随机镜像操作；

10.输出层的不同：
   输出层都为 softmax_loss 层，在训练网络当中，用来计算损失函数，并且用来初始化BP过程，测试网络同样有一个第二个输出层，accuracy，它用来报告测试的精度，在训练的过程中，测试网络将实例化并且测试准确率，产成的命令行为：Test score #0: xxx  and  Test score #1: xxx 等。

11.运行网络，其中设置
    每批batch为256个，运行450000次迭代，接近90次epoch；
   每1000次迭代，就在用测试集进行测试；
   设置初始的学习率为0.01，并且每100000次迭代中进行学习率下降，大概进行20次epoch；
   每20次epoch就显示出一些数据信息；
   网络训练的动量为0.9，权重衰减因子为0.0005，
   每10000次迭代中，就生成当前状态的快照；
   这些设置在 examples/imagenet/imagenet_solver.prototxt .中进行设置，并且同样我们需要指定文件的路径：
   net: "imagenet_train_val.prototxt"

12.开始训练网络：
   ./train_imagenet.sh
13. 在K20中，每20个迭代花费36s，所以，一幅图像的一次前馈+反馈（FW+BW）大概需要7ms，前馈花费2.5ms，剩下的是反馈，
   可以在 examples/net_speed_benchmark.cpp 中进行时间的查看；

14.因为我们有保存了快照，所以我们可以通过
    ./resume_training.sh 来进行resume恢复，脚本caffe_imagenet_train_1000.solverstate  保留了要恢复的所有信息，
15.总结，Caffe可以很方便进行通过设置文件的方式来进行设置不同的网络结构。