Caffe 入门- caffe数据准备，格式转换

最新推荐文章于 2021-05-22 15:15:50 发布

knaffe

最新推荐文章于 2021-05-22 15:15:50 发布

阅读量5.6k

点赞数 3

文章标签： caffe 数据格式数据转换入门教程

本文链接：https://blog.csdn.net/u012956288/article/details/51930724

版权

Caffe 入门- caffe数据准备，格式转换

使用自己的图片作为训练数据，使用 caffe来训练网络。我们可以根据caffe提供的一个例子imagenet的create_imagenet.sh脚本文件来实现。

我们需要做的步骤有：

1. 在..../caffe-master/data/目录下新建deepiddata文件夹（文件名自定义），用来存放新的数据。..../caffe-master/data/deepiddata文件夹下，新建train和val文件夹，和train.txt，val.txt。

2. 为图片制作标签，写到train.txx 和val.txt文件下。下文具体分析，提供代码。

3. 修改create_imagenet.sh脚本文件里的部分参数（路径）。

我的caffe的根目录为： /home/knaffe/workspace/caffe-master

具体步骤：

1. 在caffe-master/data/deepiddata下新建好的文件如下图所示：

（暂时忽略其他文件）。

train文件夹可以放多个文件夹，一类图片为一个文件夹，作为一个label。

例如train/bird/和 train/monkey/ 两个文件夹各自放着动物的图片，下面的python文件可以自动写成文本文件并标记标签。即bird文件夹下的图片标记为0，monkey文件夹下的文件会标记为1。标签的类别以train目录下的文件夹的个数来标注。

2. 为train.txt的写入数据标签。格式如下图：

train.txt里面的路径为相对路径，即在train文件夹为根目录，

该图片的绝对路径为：/home/knaffe/workspace/caffe-master/data/deepiddata/train/P2L_S3_C3.1/00003947.jpg

在train.txt中填写的路径，只需填写train/以后的相对路径，即P2L_S3_C3.1/00003947.jpg。

另外，需要注意的是，路径与标签之间是一个空格，标签最好从0开始。

在这里提供写train.txt和val.txt文件的python文件。代码如下：

<span style="font-size:14px;">#!/usr/bin/python3
'''
Created on Jul 16, 2016

@author: pang
'''
import os

#input files' path
ROOT_DIR='/home/knaffe/workspace/caffe-master/data/deepiddata/train'##train文件夹的路径，如果要修改成其他，请注意这个路径的格式，caffe-master/data/deepiddata/train

#output files' path
OUTPUT_DIR='./pair.txt'###生成的文件名。存放路径为/home/knaffe/workspace/caffe-master/data/deepiddata/

FORMAT='jpg'###用来排除其他文件干扰，若读取到其他文件， caffe转化格式脚本create_imagenet.sh会报错。

if __name__=='__main__':

    if(ROOT_DIR.endswith('/') is not True):
        ROOT_DIR+='/'

    file=os.listdir(path=ROOT_DIR)
    label=0
    with open(OUTPUT_DIR,'w') as f: 
        for sub_file in file:
            imglist=os.listdir(ROOT_DIR+sub_file)
            imglist
            for img in imglist:
                if(img.endswith(FORMAT) is not True):
                    continue
                str_tmp=str(sub_file)+'/'+img+' '+str(label)
                f.write(str_tmp+'\n')
            label+=1
    print('Finish Processing')</span>

将这个python文件放到/home/knaffe/workspace/caffe-master/data/deepiddata文件夹下运行，如图1所示。

将文件生成的pair.txt文件的内容复制到traindata.txt文件中使用。

制作val.txt文件的方法一样。

方法一：可以直接将数据放在train文件夹下，按照上述流程，将生成的pair.txt，复制到val.txt文件里。

方法二：将上述路径中的train文件名改为val即可。

3. 修改create_imagenet.sh。

create_imagenet.sh文件在 /home/knaffe/workspace/caffe-master/examples/imagenet/中。

在/home/knaffe/workspace/caffe-master/examples/文件夹下，新建deepid文件夹。

将create_imagenet.sh复制到home/knaffe/workspace/caffe-master/examples/deepid/这个新建的文件夹下。

也可以将整个imagenet文件夹复制一个副本到它所在的目录下，即/home/knaffe/workspace/caffe-master/examples/，改名为deepid