（薛开宇学习笔记（三））用自己的数据训练和测试“CaffeNet”

1.数据准备

原文是用ImageNet1000类的数据库，本文是自己模仿一个小的数据库进行下去的，在caffe下新建一个myself文件夹，并在网上下载了训练猫的图片60张，测试猫10张，训练狗的图片60张，测试狗10张，如图：

为了方便，对下载的图片名进行修改，修改代码如下：

import os;
def rename():
    count=0;
    name="dog";
    path='/home/****/caffe/data/myself/train/dog';#your caffe 
    filelist=os.listdir(path)
    for files in filelist:
        olddir=os.path.join(path,files);
        if os.path.isdir(olddir):
            continue;
        filename=os.path.splitext(files)[0];
        filetype=os.path.splitext(files)[1];
        newdir=os.path.join(path,name+str(count)+filetype);
        os.rename(olddir, newdir);
        count+=1;
rename();

2.数据处理，生成文本train.txt，val.txt

A、利用指令（打开终端cd caffe路径下）：

find train/dog -name *.jpg |cut -d '/' -f2-3 >train.txt
 	  sed "s/$/ 2/" ./train.txt>./train1.txt

生成了狗的txt文件，并在名称后加了标签2，随后再用同样的方法生成猫的txt文件，最后将两者混合再一起。如图（train、test、val都是在myself文件夹下的）：

用同样的指令生成val.txt，test.txt，test.txt是复制val.txt的，只是所有名称后的标签都是0。（注意不要将标签弄错）

B、接着是将图片归一统一大小（256*256），直接再终端利用指令：

for name in train/dog/*.jpg ; do  convert -resize 256x256\! $name $name; done

C、将图片数据转换为lmdb/leveldb

直接利用examples/imagenet/create_imagenet.sh进行生成：将脚本复制到新建的myself文件夹中，改名为creat_myimagenet.sh,并将里面的路劲修改成自己的路径，如图：

生成的lmdb名称改为了：

D、计算图像均值

       数据集减去均值图像有利于提高分类的准确性，直接用build/tools/compute_image_mean.cpp实现，它是通过脚本./make_iamgenet_mean执行的，同样的在imagenet下将make_imagenet_mean.sh复制到新建myself下，改名为make_myimagenet_mean.sh,同样的也要修改里面的路径。

注意：要保证lmdb的名称对应的是自己生成的，

           最终生成了二进制均值文件myimagenet_mean.binaryproto。

3.网络的定义

这里直接利用caffe中定义好的模型，将models/bvlc_reference_caffenet/solver.prototxt 和train_val.prototxt两个文件复制到新建myself夹下，进行修改：

           其中solver.prototxt文件：（可以将max_iter调小点后面的那个图，500）

网络定义文件train_val.prototxt：（修改四处路径）

4.训练模型

在examples/imagenet/train_caffenet.sh 复制到myself中，并修改路径：

           随后直接执行train_caffenet.sh（一共迭代4000次）,要保证loss的收敛，若loss狂增，要将基础学习率调整的较低，这里再solver.prototxt中调为0.001。模型训练未采取GPU，故训练了一晚上。最终结果如下：

（4000次）

（500次）

         分析：4000次的loss还是比较大的，准确率在60%左右，并不理想，这与选择的数据集是有关系的。同时发现本文利用的是caffenet模型结构，那么这个结构的最后一层的神经元是有1000个，用于1000分类的，而本实验只有两个分类，这需要对模型的最后一层进行微调才行，所谓的微调：就是将原本别人的（caffe团队的模型）模型直接拿来，将其已将更新好的权重参数作为自己的初始化参数，接着用别人的网络模型结合自己的数据集进行训练。所以要对模型定义的最后一层进行修改。