使用YOLO训练Kitti数据集

   其他文章http://blog.csdn.net/baolinq

         上次写了一篇关于使用yolo训练VOC数据集的文章,传送门(http://blog.csdn.net/baolinq/article/details/78724314)。但是总不能只使用一个数据集,多使用几个数据集看看效果。因为我主要在做车辆和行人方面的检测。正好KITTI 数据集是做无人驾驶方面的公开权威数据集,包含大量公路,城市街道等各种路况的数据集,官方网站(http://www.cvlibs.net/datasets/kitti/index.php),很符合我的要求。

1.      下载KITTI 数据集

Kitti数据是利用车顶上的多个相机拍的,我这里只取了leftimage,也就是第一个,链接(http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=2d),有点大,12G左右。点击链接会让你填一个邮箱,真正的下载链接会发到你的邮箱,还有label文件。只有训练图片有标签,test图片没有标签,现在还不知道如何使用,有知道大神指导一下。我暂时是这样做的,后面我会把train图片分成train,val,和test三个部分

2.      KITTI 数据集转化为VOC数据集格式

如果你没有修改yolo网络的源码,我们知道,它需要的是VOC数据格式的训练集。那么VOC数据集格式是这么样的呢?简单来看一下:

 --VOC  
      --Annotations  
      --ImageSets  
        --Main  
       --Layout  
       --Segmentation  
     --JPEGImages  
     --SegmentationClass  
      --SegmentationObject 


后面两个是分割用到的,不用管他们。这里面用到的文件夹是Annotation、ImageSets和JPEGImages。其中文件夹Annotation中主要存放xml文件,每一个xml对应一张图像,并且每个xml中存放的是标记的各个目标的位置和类别信息,命名通常与对应的原始图像一样;而ImageSets我们只需要用到Main文件夹,这里面存放的是一些文本文件,通常为train.txt、test.txt等,该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径);JPEGImages文件夹中放我们已按统一规则命名好的原始图像。

 

而KITTI数据集又是什么样的呢

Kitti的标记信息是一个txt,里面的内容如下:

Car 0.00 0 -1.67 642.24 178.50 680.14 208.68 1.381.49 3.32 2.41 1.66 34.98 -1.60 
Car 0.00 0 -1.75 685.77 178.12 767.02 235.21 1.50 1.62 3.89 3.27 1.67 21.18-1.60

 

以上内容的含义如下:(截图自https://github.com/NVIDIA/DIGITS/blob/v4.0.0-rc.3/digits/extensions/data/objectDetection/README.md

 

这部分参考http://blog.csdn.net/jesse_mx/article/details/65634482

大概了解了数据的格式,我们就开始转化吧。首先建立一系列的文件夹:

# scipts/文件夹下新建KITTIdevkit/KITTI两层子目录,所需文件放在KITTI/

Annotations/

└── 000000.xml

ImageSets/

└── main/

     └── trainval.txt

     └── test.txt#等等

JPEGImages/

└── 000000.png

Kitti_Labels/

└── 000000.txt # 自建文件夹,存放原始标注信息,待转化为xml,不属于VOC格式

create_train_test_txt.py# 3python工具,后面有详细介绍

modify_annotations_txt.py

txt_to_xml.py

 

截图如下:


代码工具我都会在文末给出下载链接。

第一步,类别转化

PASCAL VOC数据集总共20个类别,如果用于特定场景,20个类别确实多了。此次博主为数据集设置3个类别, ‘Car’’Cyclist’’Pedestrian’,只不过标注信息中还有其他类型的车和人,直接略过有点浪费,博主希望将 ‘Van’, ‘Truck’,‘Tram’ 合并到 ‘Car’类别中去,将‘Person_sitting’合并到 ‘Pedestrian’类别中去(‘Misc’ ‘Dontcare’这两类直接忽略)。这里使用的是modify_annotations_txt.py工具。

第二步:转换txt标注信息为xml格式

对原始txt文件进行上述处理后,接下来需要将标注文件从txt转化为xml,并去掉标注信息中用不上的部分,只留下3类,还有把坐标值从float型转化为int型,最后所有生成的xml文件要存放在Annotations文件夹中。这里使用的是txt_to_xml.py工具,此处是由KITTI_SSD 的代码修改而来,感谢作者的贡献。

第三步:生成训练验证集和测试集列表

用于SSD训练的Pascal VOC格式的数据集总共就是三大块:首先是JPEGImages文件夹,放入了所有png图片;然后是Annotations文件夹,上述步骤已经生成了相应的xml文件;最后就是imagesSets文件夹,里面有一个Main子文件夹,这个文件夹存放的是训练验证集,测试集的相关列表文件,如下图所示:


到这里数据转化已经基本完成。

但是还不能直接训练。在scripts文件夹下有一个voc_label.py文件,我们转化好的数据不能直接使用voc_label.py文件.需要做一些小小的修改。我把它改为kitti_label.py文件,文末有下载的链接。没什么关键的改变,只是为了适应数据集,让它能正确生成图片路径的txt文件。运行这个py文件会重新生成labels文件,txt格式,里面的标记信息都被调整到到与图像成比例的尺寸。会生成label文件夹里面是每个图片的groundtruth的框坐标信息txt格式,还会在scripts目录生成train.txtval.txt,test.txt文件,记录图片的绝对路径,便于程序批量读入。

再后面就是类似上一篇训练VOC数据集的博客了,根据实际情况调整网络参数,包括cfg文件,names文件,data文件。http://blog.csdn.net/baolinq/article/details/78724314

最后有一个很重要的细节,不要忽略,VOC数据集是jpg格式,而KITTI数据集是png格式的


我们要看一下源码是如何读取图片和标记信息的txt文件。很简单,之前我们在train.txt文件里面只记录了所有训练图片的绝对路径,并没有记录labels文件的路径,所以我们要通过图片的路径得到labels的路径,因为如果我们是按照标准方式放置的文件,那么labels文件的位置和png文件位置很相近,有规律可寻,只要替换一些文件夹和后缀名就可以了。

到这里应该就可以正常训练了,这次我的maxbatch设置为40000,训练了十几个小时。训练完的检测效果可以看一下:训练命令:darknet.exe detector train data/kitti.data cfg/kitti.cfg pre_model/darknet19_448.conv.23 -gpus 0,1


评估结果,检测recall是77.33%,准确率是89.96%,(数据好像有问题?)看起来还不错,但是在实际检测图片时效果不怎么好,尤其是对kitti以外的数据集。原因待研究,欢迎在评论区指导留言交流。

不同的功能就是detector后面的参数不一样,有train,test,recall,demo等,可以看下源码detector.c
如果你只是测试单张图像,就用test命令,类似darknet.exe detector test data/kitti.data cfg/kitti.cfg weights/kitti_40000.weights -gpus 0,1
如果是测试整个测试集的准确率和recall,就用recall命令。类似这样的darknet.exe detector recall data/kitti.data cfg/kitti.cfg weights/kitti_40000.weights -gpus 0,1
测试视频就用demo命令,类似darknet.exe detector demo data/voc-3.data cfg/yolo-3.cfg weights/yolo-3_final.weights  -gpus 1 test_image/123.mp4

参考文献

[1]https://pjreddie.com/darknet/yolo/ 官网提供了很多训练好的模型,很良心

[2]https://arxiv.org/abs/1612.08242 yolo v2论文原文

[3] https://github.com/pjreddie/darknet github源码

[4]http://www.cvlibs.net/datasets/kitti/index.php  kitti数据集官网

[5]还有很多优秀的博客,感谢他们的贡献


kitti转为VOC数据集工具代码下载链接http://download.csdn.net/download/baolinq/10181761

 


 

展开阅读全文

没有更多推荐了,返回首页