制作VOC2007格式数据集用于Faster-RCNN训练

转自http://blog.csdn.net/sinat_30071459/article/details/50723212,自己加入了自己制作数据集时遇到的一些问题,和想法


首先录一段想制作成数据集的目标的视频,截成一帧一帧的图片,作为数据集的原材料。

0.文件夹名

首先,确定你的数据集所放的文件夹名字,例如我的叫logos。

(或者和voc2007一样的名字:VOC2007)

1.图片命名

虽然说图片名对训练没什么影响,但建议还是按VOC2007那样,如“000005.jpg”这种形式。至于图片格式,代码里是写的jpg。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码:
[plain]  view plain  copy
  1. %%  
  2. %图片保存路径为:  
  3. %E:\image\car  
  4. %E:\image\person  
  5. %car和person是保存车和行人的文件夹  
  6. %这些文件夹还可以有多个,  
  7. %放在image文件夹里就行  
  8. %该代码的作用是将图片名字改成000123.jpg这种形式  
  9. %%  
  10. clc;  
  11. clear;  
  12.   
  13. maindir='E:\image\';  
  14. name_long=5; %图片名字的长度,如000123.jpg为6,最多9位,可修改  
  15. num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123  
  16.   
  17. subdir = dir(maindir);  
  18. n=1;  
  19.   
  20. for i = 1:length(subdir)  
  21.   if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  
  22.      subsubdir = dir(strcat(maindir,subdir(i).name));  
  23.     for j=1:length(subsubdir)  
  24.          if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  
  25.             img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  
  26.             imshow(img);  
  27.             str=num2str(num_begin,'%09d');  
  28.             newname=strcat(str,'.jpg');  
  29.             newname=newname(end-(name_long+3):end);  
  30.             system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  
  31.             num_begin=num_begin+1;  
  32.             fprintf('当前处理文件夹%s',subdir(i).name);  
  33.             fprintf('已经处理%d张图片\n',n);  
  34.             n=n+1;  
  35.            pause(0.1);%可以将暂停去掉  
  36.          end  
  37.     end  
  38.   end  
  39. end  
图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名,可以使用imwrite,如:

[html]  view plain  copy
  1. imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹,原图片不变  
也可以使用Total Commander来批量重命名,非常方便,推荐使用这个工具。
下载地址: Total Commander破解版
此处附上自己做的Python写的文件编号
import os

def rename(name_long):
    count = 0
    path_in = 'D:\\messing\\test'   #需要进行编号的图片储存文件夹
    path_out = 'D:\\messing\\test\\finish'  #编号后的图片存储位置
    filelist = os.listdir(path_in)  # 该文件夹下所有的文件(包括文件夹)
    for files in filelist:  # 遍历所有文件
        Olddir = os.path.join(path_in, files)  # 原来的文件路径
        if os.path.isdir(Olddir):  # 如果是文件夹则跳过
            continue
        filename = os.path.splitext(files)[0]  # 文件名
        filetype = os.path.splitext(files)[1]  # 文件扩展名
        str_count = str(count)  #转化为string型
        add_zero = name_long - len(str_count)   #计算需要补的0数
        while add_zero > 0:
            str_count = '0' + str_count
            add_zero -= 1
        Newdir = os.path.join(path_out, str_count + filetype)  # 新的文件路径
        os.rename(Olddir, Newdir)  # 重命名
        count += 1

name_long = 6   #文件名的总长度
rename(name_long)

如果有同学想从视频里获得一帧一帧分割好的,正确序号名称的图片,可以参考我写的以下代码
# work with opencv in linux
import cv2
import os

video_path = '/media/Ubuntu/Jetson/WYZ/messing/turtle_boot.mp4'
save_path = '/media/Ubuntu/Jetson/WYZ/messing/imageSave/'
name_length = 6   

capture = cv2.VideoCapture(video_path)
#cv2.namedWindow("Video")
ret, frame = capture.read()
num_picture = 0

while ret:
    #cv2.imshow("Video", frame)
    #cv2.waitKey(1)
    num_picture_str = str(num_picture)
    add_zero = name_length - len(num_picture_str)
    while add_zero > 0:
        num_picture_str = '0' + num_picture_str
        add_zero -= 1
    final_path = save_path + num_picture_str + '.jpg'
    print(final_path)
    cv2.imwrite(final_path, frame)
    num_picture += 1
    ret, frame = capture.read()

2.画目标包围框

将图片中所框的目标信息保存起来,我的是保存到txt里,如下:
[plain]  view plain  copy
  1. 000002.jpg car 44 28 132 121  
  2. 000003.jpg car 54 19 243 178  
  3. 000004.jpg car 168 6 298 164  
注: "car"是后来进行替换的,之前已有一个字母
前面是图片名,中间是目标类别,最后是目标的包围框坐标(左上角和右下角坐标)。

打框的代码(c++)我封装成了dll,下载地址: 图像标注VS2013项目 (我的环境是win7vs2013旗舰版,win8 win10好像不能运行)



或者下这个EXE版本的(win7下用cmd运行,win8 win10可能运行不了): 图像标注EXE
注:博主电脑是win10系统,确实无法运行,后来再win7系统上实现的。当时还报了一个错误,百度一下,下载一个东西安装上就可以使用了,相信聪明的大家肯定没问题。

2016-10-18:
上面标注的代码使用的是别人封装的opencv动态库,现在修改为opencv2.4.10,64位,vs2013,按网上教程配置好opencv,资源地址:

上面的代码好像忘写操作说明了,这里写一下:
(1)图片显示出来后,输入法切换到英文;
(2)在目标的左上角按下鼠标左键,拉一个包围框到目标右下角,然后键盘输入标签(一个字符)
(3)继续(2)操作,直到框完该张图片上的目标;
(4)按n进入下一张,esc退出。
注意:标签只能输入一个字符,你可以在生成的txt文件中替换成你实际的标签。

3.做xml

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框,可参考代码: VOC2007xml(这份代码生成的xml训练Matlab版本的FRCNN可能会出错,最好用下面修改过的)
这份代码生成的xml第一行含有版本和编码信息:<?xml version="1.0" encoding="utf-8"?>,并且含有空格,用来训练Faster RCNN可能会有问题,如下:

                                                                                
           (左边是VOC2007数据集中的xml,右边是上面代码生成的xml(第一行我删掉了),用Notepad打开就可以看到)

VOC2007中的xml前面是tab字符(左边那些箭头),上面代码生成的xml是空格(那些小黄点),所以,必须将空格转换成tab, 下载修改过的代码VOC2007xml_new
(下载VOC2007xml_new就可以了,不用下载VOC2007xml,不过如果xml用作其他用途还是可以的)
最终,得到的xml就和VOC一样。

2016-11-24:
上面做xml的代码请下载修改过的代码!!!因为第一份代码带有<?xml version="1.0" encoding="utf-8"?>以及空格,训练会出错的!!!本来想把第一份代码删掉的,但是csdn好像没法删资源啊!!!
代码是Matlab(2014b)写的,没怎么优化,当时想的就是功能能实现就行。
另外,如果同一幅图上有多个目标,保存在txt文件中的包围框信息需要连续存放。

4.保存xml到Annotations

新建一个文件夹,名字为Annotations,将xml文件全部放到该文件夹里。

5.将训练图片放到JPEGImages

新建一个文件夹,名字为JPEGImages,将所有的训练图片放到该文件夹里。

6.ImageSets\Main里的四个txt文件

新建文件夹,命名为ImageSets,在ImageSets里再新建文件夹,命名为Main。
我们可以通过xml名字(或图片名),生成四个txt文件,即:

txt文件中的内容为:
[plain]  view plain  copy
  1. 000005  
  2. 000027  
  3. 000028  
  4. 000033  
  5. 000042  
  6. 000045  
  7. 000048  
  8. 000058  

即图片名字(无后缀),test.txt是测试集,train.txt是训练集,val.txt是验证集,trainval.txt是训练和验证集.VOC2007中,trainval大概是整个数据集的50%,test也大概是整个数据集的50%;train大概是trainval的50%,val大概是trainval的50%。可参考以下代码:
[html]  view plain  copy
  1. %%  
  2. %该代码根据已生成的xml,制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt  
  3. %trainval占总数据集的50%,test占总数据集的50%;train占trainval的50%,val占trainval的50%;  
  4. %上面所占百分比可根据自己的数据集修改,如果数据集比较少,test和val可少一些  
  5. %%  
  6. %注意修改下面四个值  
  7. xmlfilepath='E:\Annotations';  
  8. txtsavepath='E:\ImageSets\Main\';  
  9. trainval_percent=0.5;%trainval占整个数据集的百分比,剩下部分就是test所占百分比  
  10. train_percent=0.5;%train占trainval的百分比,剩下部分就是val所占百分比  
  11.   
  12.   
  13. %%  
  14. xmlfile=dir(xmlfilepath);  
  15. numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小  
  16.   
  17.   
  18. trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  
  19. test=sort(setdiff(1:numOfxml,trainval));  
  20.   
  21.   
  22. trainvalsize=length(trainval);%trainval的大小  
  23. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  
  24. val=sort(setdiff(trainval,train));  
  25.   
  26.   
  27. ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  
  28. ftest=fopen([txtsavepath 'test.txt'],'w');  
  29. ftrain=fopen([txtsavepath 'train.txt'],'w');  
  30. fval=fopen([txtsavepath 'val.txt'],'w');  
  31.   
  32.   
  33. for i=1:numOfxml  
  34.     if ismember(i,trainval)  
  35.         fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  
  36.         if ismember(i,train)  
  37.             fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  
  38.         else  
  39.             fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  
  40.         end  
  41.     else  
  42.         fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  
  43.     end  
  44. end  
  45. fclose(ftrainval);  
  46. fclose(ftrain);  
  47. fclose(fval);  
  48. fclose(ftest);  
注: 不知道为什么,博主此处运行程序生成的四个文件夹名字为"Maintest.txt","Mainval.txt"," Main trainval.txt"," Main train.txt", 需要去掉Main才能顺利运行。
这四个txt放在ImageSets\Main中。

这样,数据集就基本做好了。然后新建文件夹,名字为logos(第0步确定的名字),将上面三个文件夹放到这里,即logos文件夹里有三个文件夹:


将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
(或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages,免去一些训练的修改)
注:博主这里是直接替换


  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值