R-CNN:使用自己的数据训练 Faster R-CNN 的 VGG-16 模型

人工智能 专栏收录该内容
28 篇文章 4 订阅

最近在学习 Faster R-CNN 模型,为了了解其中网络的结构,利用 PascalVOC 数据集,来扩展网络的类别(原来有 20 类)。过程分为:数据准备 ==> 相关文件修改 ==> 训练网络 ==> 测试


一、数据准备

(一)下载数据集:

官网数据集镜像:https://pjreddie.com/projects/pascal-voc-dataset-mirror/
Pascal VOC 数据集中有训练时需要的图片、对应的标注文件(xml)和指定正负样本的文本文件(txt),分别放在 VOC2007 或 VOC2012 目录中的 JPEGImage、Annotations 和 ImageSets 的 Main 目录中。

(二)数据标注:

本次训练的目的是在原有 20 类的基础上,扩展 3 类,分别是 cup、window、glasses
标注工具使用 LabelImage :github下载地址

需要安全 PyQt 和其他相关依赖项才能运行。

下载完后运行 LabelImage.py 文件即可,界面如下:

「Open Dir」 指定文件的路径;「Change Save Dir」 指定保存的 xlm 文件路径。
默认常用快捷键为:「w」 为画框,「a」 为上一张图片,「d」 为下一张图片,「ctrl + s」 为保存 xml 文件。

如果想要修改快捷键,可以打开 LabelImage.py 文件,在以下代码中(大概在213到276行)修改:

...
        openNextImg = action('&Next Image', self.openNextImg,    //里面有快捷键的功能和快捷键
                             'd', 'next', u'Open Next')          //第三个参数('d')就是快捷键,可以修改

        openPrevImg = action('&Prev Image', self.openPrevImg,
                             'a', 'prev', u'Open Prev')

        verify = action('&Verify Image', self.verifyImg,
                        'space', 'verify', u'Verify Image')

        save = action('&Save', self.saveFile,
                      'ctrl+s'', 'save', u'Save labels to file', enabled=False)
...

每画完一个框后,会让你选择所属类别:

如果想要修改预选类别,可以在 $LabelImage_ROOT/data 里面的 predefined_classes.txt 里修改。

数据标注完后,需要生成四个 txt 文件,分别为 class_train.txt、class_trainval.txt、class_val.txt、class_test.txt。

内容格式为下:

2008_000008 -1
2008_000015 -1
2008_000019 -1
2008_000023 -1
2008_000028 -1
2008_000033  1
2008_000036 -1
2008_000037  1
2008_000041 -1
2008_000045 -1
2008_000053 -1
2008_000060 -1
...

(三)数据存放地址:

数据准备完后,
jpg 文件放在 \py-faster-rcnn\data\VOCdevkit2007\VOC2007\JPEGImage\ 里面
xml 文件放在 \py-faster-rcnn\data\VOCdevkit2007\VOC2007\Annotations\ 里面
txt 文件放在 \py-faster-rcnn\data\VOCdevkit2007\VOC2007\ImageSets\Main\ 里面
注意 txt 里面每一个类别都有对应的 train、val、trainval、test 文件,按照原来的数据格式去做,需要自己生成。

二、训练网络

在训练开始之前,需要修改一些网络文件和下载 ImageNet 预训练模型。

(一)修改相关配置文件

1. cd $FRCN_ROOT/lib/datasets,修改 pascal_voc .py,添加自己的类

        self._classes = ('__background__', # always index 0
                         'aeroplane', 'bicycle', 'bird', 'boat',
                         'bottle', 'bus', 'car', 'cat', 'chair',
                         'cow', 'diningtable', 'dog', 'horse',
                         'motorbike', 'person', 'pottedplant',
                         'sheep', 'sofa', 'train', 'tvmonitor', 'cup', 'window', 'glasses')

2. cd $FRCN_ROOT/lib/datasets,修改 imdb.py
boxes[:, 2] = widths[i] - oldx1 -1 后面添加三行,如下:

...
    boxes[:, 2] = widths[i] - oldx1 -1
    for b in range(len(boxes)):
        if boxes[b][2] < boxes[b][0]:
            boxes[b][0] = 0 
...

3. 修改 train.prototxttest.prototxt
把所有的 21 替换为 24,这个数为 类别数 + 背景 = 23 + 1,按自己的类别数来改。然后把所有的 84 替换为 96,这个数为 (类别数 + 背景)× 4 = 96 ,也是按照自己的类别改。

4. 修改所有的 .pt 文件
如上,把所有的 21 替换为 24,把所有的 84 替换为 96

(二)下载 ImageNet 模型

训练的时候需要使用 ImageNet 的预训练模型,所以需要准备:
cd $FRCN_ROOT 运行脚本文件:
./data/scripts/fetch_imagenet_models.sh
有可能需要翻墙才能下载或者下载速度慢。可以网上找网友下载。

(三)清除缓存

删除缓存文件:

$FRCN_ROOT/data/VOCdevkit2007/annotations_cache/annots.pkl
$FRCN_ROOT/data/cache 下的 pkl 文件
如果不清除缓存可能会报错。

(四)开始训练

检查所有准备步骤没错后,就可以开始训练了。
命令如下:

cd $FRCN_ROOT
./experiments/scripts/faster_rcnn_end2end.sh [GPU_ID] [NET] [dataset]

第一个参数指定训练用的 GPU,第二个指定训练什么网络,这里使用 VGG16,第三个是指定数据集,这里为 pascal_voc

例如:

./experiments/scripts/faster_rcnn_end2end.sh 0 VGG16 pascal_voc

训练每次迭代大约为 0.2s ,迭代 70000 次,每 10000 次会生成一次 snapshot ,大概需要训练快 4 个小时训练完的网络保存在:

$FRCN_ROOT/output/faster_rcnn_end2end/voc_2007_trainval

(五)训练中遇到的问题

训练中还是会遇到各种各样的报错,我把我自己的遇到的问题汇总了以下,参考训练和测试 Faster R-CNN 模型中遇到的问题

三、测试网络

网络训练完成后如果有 test 集会自动开始测试,最后输出所有类的 Average Precision (AP) 及 mean AP:

除了训练 VGG16 模型,我还再训练多一个 ResNet-50,在训练 ResNet-50 的时候我修改生成的 anchors 的尺度,增加了两个小的 anchors,提高了检测的精度,两个网络的 AP 做一个对比。

可以发现,残差网络所有类别的 AP 都有提高,有一部分类有明显提高:


上:VGG16 网络的 mAP;下:ResNet-50 网络的 mAP

由于官方给的文件里面没有 ResNet 网络训练的文件,可以参考 使用自己的数据训练 Faster R-CNN 的 ResNet-50 模型

  • 5
    点赞
  • 2
    评论
  • 22
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值