Caffe-AlexNet-Finetuning

参考：

http://blog.sina.com.cn/s/blog_609c4e720102w1f2.html

http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html
http://blog.csdn.net/tonyyang1995/article/details/51814318
http://blog.csdn.net/u012878523/article/details/41698209

http://www.cnblogs.com/alexcai/p/5469478.html

所谓fine tune就是用别人训练好的模型，加上我们自己的数据，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。

fine tune的好处在于不用完全重新训练模型，从而提高效率，因为一般新训练模型准确率都会从很低的值开始慢慢上升，但是fine tune能够让我们在比较少的迭代次数之后得到一个比较好的效果。在数据量不是很大的情况下，fine tune会是一个比较好的选择。但是如果你希望定义自己的网络结构的话，就需要从头开始了。

fine tuning中最重要的两个文件是solver.prototxt和train_val.prototxt。

1、train_val.txt文件（或train.txt）：

       train_val.prototxt文件中的内容是fine tuning网络的结构，transform_param中的mean_file是我们使用的原始模型的数据集平均值（针对AlexNet是imagenet_mean.binaryproto)。image_data_param中的source数据是我们fine tuning时自己的数据集（记得分清TRAIN和TEST数据集，无论是TRAIN还是TEST,transform_param中的mean_file是一样的。有时可能只有TRAIN而没有TEST）。对于source，我们既可以使用自己数据集产生的lmdb文件；也可以使用原始图片信息的数据，记得这样的数据一定要有标注（标注类别顺序错乱不影响）。在使用原始图片信息时，可以使用source指向标注信息列表文件train.txt，而root_folder指向原图片地址path，即一个指针指向的关系，执行时即读出（path）/（train.txt的内容）得到图片具体信息。

       （若属于同一文件夹，则可以不必如此麻烦，如新建一个文件夹mine，在mine文件夹下新建train和val文件夹，train文件夹下新建bird和dog两个类文件夹分别存放200张bird和200张dog，另外在mine文件夹下新建两个txt文件：train.txt和val.txt，列出对应图片名及其标签bird/bird1.jpg 1，则执行时即为读取  mine/bird/bird1.jpg 1）
        其余的事项即是注意layer的调整
        如果，前两层中出现了phase为TRAIN和TEST，那么我们最后的phase为TEST；
        如果前面层中只出现了一次phase为TRAIN，那么我们最后的phase为TRAIN。

2、solver.prototxt

        文件表示的fine tuning网络参数调整：
        net是网络结构，即是上面的train_val.prototxt的路径
        snapshot_prefix用于存储训练过程中的中间结果，可以同时命名X，产生结果后其正式结果为X_iter_xxx.yyy 
        其他参数解释可以见上述参考文章blog

3、开始训练  

        训练时，是处于caffe目录下进行训练，在修改完solver 和train_val 之后，就可以尝试train了
        进入caffe 根目录执行：
       ./build/tools/caffe train -solver /路径/solver.prototxt -weights /路径/原模型(如用训好的alexnet模型去fine tuning MIT67数据，此时这里应该是已经训好的alexnet模型   /路径/caffe_alexnet_train_iter_450000.caffemodel)

        要是训练到一半退出了，caffe会保存一个snapshot，我们可以重新恢复训练
       ./build/tools/caffe train -solver /路径/solver.prototxt -snapshot /路径/上次训练的结果.solverstate

        记录日志用 --log_dir=yourdesiredpath