Caffe 入门- caffe数据准备，格式转换

Caffe 入门- caffe数据准备，格式转换

 使用自己的图片作为训练数据，使用 caffe来训练网络。我们可以根据caffe提供的一个例子imagenet的create_imagenet.sh脚本文件来实现。

我们需要做的步骤有：

     1. 在..../caffe-master/data/目录下新建deepiddata文件夹（文件名自定义），用来存放新的数据。..../caffe-master/data/deepiddata文件夹下，新建train和val文件夹，和train.txt，val.txt。

    2. 为图片制作标签，写到train.txx 和val.txt文件下。下文具体分析，提供代码。

    3. 修改create_imagenet.sh脚本文件里的部分参数（路径）。

 

我的caffe的根目录为： /home/knaffe/workspace/caffe-master

 

具体步骤：

1. 在caffe-master/data/deepiddata下新建好的文件如下图所示：

（暂时忽略其他文件）。

train文件夹可以放多个文件夹，一类图片为一个文件夹，作为一个label。

例如train/bird/和  train/monkey/ 两个文件夹各自放着动物的图片，下面的python文件可以自动写成文本文件并标记标签。即bird文件夹下的图片标记为0，monkey文件夹下的文件会标记为1。标签的类别以train目录下的文件夹的个数来标注。

 

2. 为train.txt的写入数据标签。格式如下图：

 

 

 

train.txt里面的路径为相对路径，即在train文件夹为根目录，

该图片的绝对路径为：/home/knaffe/workspace/caffe-master/data/deepiddata/train/P2L_S3_C3.1/00003947.jpg

在train.txt中填写的路径，只需填写train/以后的相对路径，即P2L_S3_C3.1/00003947.jpg。

 

另外，需要注意的是，路径与标签之间是一个空格，标签最好从0开始。

 

 

在这里提供写train.txt和val.txt文件的python文件。代码如下：

<span style="font-size:14px;">#!/usr/bin/python3
'''
Created on Jul 16, 2016

@author: pang
'''
import os

#input files' path
ROOT_DIR='/home/knaffe/workspace/caffe-master/data/deepiddata/train'##train文件夹的路径，如果要修改成其他，请注意这个路径的格式，caffe-master/data/deepiddata/train

#output files' path
OUTPUT_DIR='./pair.txt'###生成的文件名。存放路径为/home/knaffe/workspace/caffe-master/data/deepiddata/

FORMAT='jpg'###用来排除其他文件干扰，若读取到其他文件， caffe转化格式脚本create_imagenet.sh会报错。

if __name__=='__main__':

    if(ROOT_DIR.endswith('/') is not True):
        ROOT_DIR+='/'

    file=os.listdir(path=ROOT_DIR)
    label=0
    with open(OUTPUT_DIR,'w') as f: 
        for sub_file in file:
            imglist=os.listdir(ROOT_DIR+sub_file)
            imglist
            for img in imglist:
                if(img.endswith(FORMAT) is not True):
                    continue
                str_tmp=str(sub_file)+'/'+img+' '+str(label)
                f.write(str_tmp+'\n')
            label+=1
    print('Finish Processing')</span>

将这个python文件放到/home/knaffe/workspace/caffe-master/data/deepiddata文件夹下运行，如图1所示。

将文件生成的pair.txt文件的内容复制到traindata.txt文件中使用。

制作val.txt文件的方法一样。

方法一：可以直接将数据放在train文件夹下，按照上述流程，将生成的pair.txt，复制到val.txt文件里。

方法二：将上述路径中的train文件名改为val即可。

 

 

 

 

3. 修改create_imagenet.sh。

 

create_imagenet.sh文件在 /home/knaffe/workspace/caffe-master/examples/imagenet/中。

在/home/knaffe/workspace/caffe-master/examples/文件夹下，新建deepid文件夹。

将create_imagenet.sh复制到home/knaffe/workspace/caffe-master/examples/deepid/这个新建的文件夹下。

也可以将整个imagenet文件夹复制一个副本到它所在的目录下，即/home/knaffe/workspace/caffe-master/examples/，改名为deepid

 

  

下面这个是转换后的数据格式文档存放的目录，可以不修改。

 

最后运行create_imagenet.sh即可。这个脚本文件需要添加可执行的权限。 Chmod u+x ./create_imagenet.sh 命令可以修改权限

 

报错处理：

1.  如果运行脚本文件中报错，如果为

 

这个错误出现的话，则可以将测试运行中生成的deepid_train_lmdb和deepid_val_lmdb文件夹删掉，如下图。再重新运行create_imagenet.sh。

 

2. 如果出现 can not find or open  …//.......jpg 这个错误，

则检查train.txt中，路径和标签之间是否只有一个空格！

 

其他错误比如找不到文件或者某某不是路径，则检查新建的文件路径，以及create_imagenet.sh中设置路径的地方是否出错！