Caffe 入门- caffe数据准备,格式转换

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012956288/article/details/51930724

Caffe 入门- caffe数据准备,格式转换

 使用自己的图片作为训练数据,使用 caffe来训练网络。我们可以根据caffe提供的一个例子imagenet的create_imagenet.sh脚本文件来实现。

我们需要做的步骤有:

     1. 在..../caffe-master/data/目录下新建deepiddata文件夹(文件名自定义),用来存放新的数据。..../caffe-master/data/deepiddata文件夹下,新建train和val文件夹,和train.txt,val.txt。

    2. 为图片制作标签,写到train.txx 和val.txt文件下。下文具体分析,提供代码。

    3. 修改create_imagenet.sh脚本文件里的部分参数(路径)。

 

我的caffe的根目录为: /home/knaffe/workspace/caffe-master

 

具体步骤:

1. 在caffe-master/data/deepiddata下新建好的文件如下图所示:

(暂时忽略其他文件)。



train文件夹可以放多个文件夹,一类图片为一个文件夹,作为一个label。

例如train/bird/和  train/monkey/ 两个文件夹各自放着动物的图片,下面的python文件可以自动写成文本文件并标记标签。即bird文件夹下的图片标记为0,monkey文件夹下的文件会标记为1。标签的类别以train目录下的文件夹的个数来标注。

 


2. 为train.txt的写入数据标签。格式如下图:

 

 

 

train.txt里面的路径为相对路径,即在train文件夹为根目录,

该图片的绝对路径为:/home/knaffe/workspace/caffe-master/data/deepiddata/train/P2L_S3_C3.1/00003947.jpg

在train.txt中填写的路径,只需填写train/以后的相对路径,即P2L_S3_C3.1/00003947.jpg。

 

另外,需要注意的是,路径与标签之间是一个空格标签最好从0开始。

 

 

在这里提供写train.txt和val.txt文件的python文件。代码如下:

<span style="font-size:14px;">#!/usr/bin/python3
'''
Created on Jul 16, 2016

@author: pang
'''
import os

#input files' path
ROOT_DIR='/home/knaffe/workspace/caffe-master/data/deepiddata/train'##train文件夹的路径,如果要修改成其他,请注意这个路径的格式,caffe-master/data/deepiddata/train

#output files' path
OUTPUT_DIR='./pair.txt'###生成的文件名。存放路径为/home/knaffe/workspace/caffe-master/data/deepiddata/

FORMAT='jpg'###用来排除其他文件干扰,若读取到其他文件, caffe转化格式脚本create_imagenet.sh会报错。

if __name__=='__main__':

    if(ROOT_DIR.endswith('/') is not True):
        ROOT_DIR+='/'

    file=os.listdir(path=ROOT_DIR)
    label=0
    with open(OUTPUT_DIR,'w') as f: 
        for sub_file in file:
            imglist=os.listdir(ROOT_DIR+sub_file)
            imglist
            for img in imglist:
                if(img.endswith(FORMAT) is not True):
                    continue
                str_tmp=str(sub_file)+'/'+img+' '+str(label)
                f.write(str_tmp+'\n')
            label+=1
    print('Finish Processing')</span>


将这个python文件放到/home/knaffe/workspace/caffe-master/data/deepiddata文件夹下运行,如图1所示。

将文件生成的pair.txt文件的内容复制到traindata.txt文件中使用。

制作val.txt文件的方法一样。


方法一:可以直接将数据放在train文件夹下,按照上述流程,将生成的pair.txt,复制到val.txt文件里。

方法二:将上述路径中的train文件名改为val即可。

 

 

 

 

3. 修改create_imagenet.sh。

 

create_imagenet.sh文件在 /home/knaffe/workspace/caffe-master/examples/imagenet/中。

在/home/knaffe/workspace/caffe-master/examples/文件夹下,新建deepid文件夹。

将create_imagenet.sh复制到home/knaffe/workspace/caffe-master/examples/deepid/这个新建的文件夹下。

也可以将整个imagenet文件夹复制一个副本到它所在的目录下,即/home/knaffe/workspace/caffe-master/examples/,改名为deepid


 

  

下面这个是转换后的数据格式文档存放的目录,可以不修改。

 


最后运行create_imagenet.sh即可。这个脚本文件需要添加可执行的权限。 Chmod u+x ./create_imagenet.sh 命令可以修改权限

 

报错处理:

1.  如果运行脚本文件中报错,如果为

 


这个错误出现的话,则可以将测试运行中生成的deepid_train_lmdb和deepid_val_lmdb文件夹删掉,如下图。再重新运行create_imagenet.sh。


 


2. 如果出现 can not find or open  …//////.......jpg 这个错误,

则检查train.txt中,路径和标签之间是否只有一个空格!

 

其他错误比如找不到文件或者某某不是路径,则检查新建的文件路径,以及create_imagenet.sh中设置路径的地方是否出错!



阅读更多
换一批

没有更多推荐了,返回首页