用自己的数据集在R-FCN框架下进行检测

最新推荐文章于 2024-03-22 20:07:05 发布

浩瀚之水_csdn

最新推荐文章于 2024-03-22 20:07:05 发布

阅读量1.2k

点赞数

分类专栏：深度学习目标检测

深度学习目标检测专栏收录该内容

260 篇文章 13 订阅

订阅专栏

这个教程默认代码、预训练模型、测试部分的代码已经下载好，环境也已经编译好

【训练】

models
models文件夹下存放的是对应的预训练的模型在训练时的网络参数。
以ResNet-101为例：
注意：下面的cls_num指的是数据集的类别数+1（背景）。比如我想检测鱼这一个类别，cls_num=2.
（1）修改其中的solver_ohem.protoxt

train_net: "models/fish4knowledge/ResNet-101/rfcn_end2end/train_agnostic_ohem.prototxt"
base_lr: 0.001    #初始学习率
lr_policy: "step"    #学习率更新的方式
gamma: 0.1           #学习率衰减的倍率
stepsize: 10000      #迭代一万次，学习率衰减为原来的0.1倍
display: 20    #每迭代20次在终端打印一次输出

momentum: 0.9     #动量
weight_decay: 0.0005      #权重衰减率
# We disable standard caffe solver snapshotting and implement our own snapshot
# function
snapshot: 0  #选择迭代多少次保存一次中间模型
# We still use the snapshot prefix, though
snapshot_prefix: "resnet101_rfcn_ohem"
iter_size: 2   #由于是做检测任务，batch_size值较小
#debug_info: true

根据以上代码的第一行我们知道接下来要修改train_agnostic_ohem.prototxt 这里着重讲一下，训练可以选择两种方式，一种带ohem，一种不带ohem；我在训练时用的是前者，所以修改的都是文件名里有ohem的

（2）修改train_agnostic_ohem.prototxt
** 两处数据层、两处卷积层、对应的两处cls和bbox参数层（大家会发现每个prototxt修改的内容大致相同）
以后需要调整anchor大小来做不同的实验时，也是在这个文件里改，详情见下篇博客。

layer {
  name: 'input-data'
  type: 'Python'
  top: 'data'
  top: 'im_info'
  top: 'gt_boxes'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 2" #cls_num
  }
}

layer {
  name: 'roi-data'
  type: 'Python'
  bottom: 'rpn_rois'
  bottom: 'gt_boxes'
  top: 'rois'
  top: 'labels'
  top: 'bbox_targets'
  top: 'bbox_inside_weights'
  top: 'bbox_outside_weights'
  python_param {
    module: 'rpn.proposal_target_layer'
    layer: 'ProposalTargetLayer'
    param_str: "'num_classes': 2" #cls_num
  }
}

layer {
    bottom: "conv_new_1"
    top: "rfcn_cls"
    name: "rfcn_cls"
    type: "Convolution"
    convolution_param {
        num_output: 98 # 2*（7^2） cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}


layer {
    bottom: "conv_new_1"
    top: "rfcn_bbox"
    name: "rfcn_bbox"
    type: "Convolution"
    convolution_param {
        num_output: 392 # 4*2*（7^2）=4*cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}

layer {
    bottom: "rfcn_cls"
    bottom: "rois"
    top: "psroipooled_cls_rois"
    name: "psroipooled_cls_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 2  #cls_num
        group_size: 7
    }
}

layer {
    bottom: "rfcn_bbox"
    bottom: "rois"
    top: "psroipooled_loc_rois"
    name: "psroipooled_loc_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 8 #4*cls_num
        group_size: 7
    }
}

（3）修改test_agnostic.prototxt

layer {
    bottom: "conv_new_1"
    top: "rfcn_cls"
    name: "rfcn_cls"
    type: "Convolution"
    convolution_param {
        num_output: 98 #cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}

layer {
    bottom: "conv_new_1"
    top: "rfcn_bbox"
    name: "rfcn_bbox"
    type: "Convolution"
    convolution_param {
        num_output: 392 #4*cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}

layer {
    bottom: "rfcn_cls"
    bottom: "rois"
    top: "psroipooled_cls_rois"
    name: "psroipooled_cls_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 2  #cls_num
        group_size: 7
    }
}

layer {
    bottom: "rfcn_bbox"
    bottom: "rois"
    top: "psroipooled_loc_rois"
    name: "psroipooled_loc_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 8  #4*cls_num
        group_size: 7
    }
}

layer {
    name: "cls_prob_reshape"
    type: "Reshape"
    bottom: "cls_prob_pre"
    top: "cls_prob"
    reshape_param {
        shape {
            dim: -1
            dim: 2  #cls_num
        }
    }
}

layer {
    name: "bbox_pred_reshape"
    type: "Reshape"
    bottom: "bbox_pred_pre"
    top: "bbox_pred"
    reshape_param {
        shape {
            dim: -1
            dim: 8  #4*cls_num
        }
    }
}

看代码的内容，没用到classware/下面的参数文件，暂不需要修改。

tools
训练用的train_net.py
测试用的test_net.py
data
/VOCdevkit 存放数据集的信息：包括
（1）/ImageSets/Main下存放train.txt、val.txt、test.txt，内容为图片的名称（不含后缀）
（2）/fish_image_hz存放所有的图片
（3）/Annotations 存放所有图片的标注信息xml
（4）/dataset下存放测试要用到的东西
/dataset/devkit
/rfcn_models 训练生成的caffemodel复制粘贴到此文件夹下，为了测试的时候读取模型
/imagenet_models 预训练的模型，譬如ResNet-101-model.caffemodel可从网上下载
/cache缓存，如若换数据集，里面的pkl文件要删掉
output
output文件夹下存放的是训练所生成的caffemodel，为了以防程序中断，我们设置了每迭代一万次备份一次已训练好的模型。
lib
用来存放一些python接口文件，如其下的datasets主要负责数据库读取，config负责cnn一些训练的配置选项。
复制已有的datasets/pascal_voc.py，但要修改成自己使用的数据集的python文件。譬如datasets/fish4knowledge.py 具体修改的地方：

if __name__ == '__main__':
    from datasets.fish4knowledge import fish4knowledge
    d = fish4knowledge('train', '存放数据集的路径')

除此以外，还有data_path,存放图片名称的路径等等，自己看代码来修改。

datasets/factory.py 修改的地方有：

from datasets.fish4knowledge import fish4knowledge
devkit = '存放数据集的路径'
for split in ['train', 'val']:
    name = 'fish4knowledge_{}'.format(split)
    __sets[name] = (lambda imageset=split, devkit=devkit: fish4knowledge(imageset, devkit))

datasets/_ init _.py修改成：

from .fish4knowledge import knowledge

fast_rcnn/config.py

caffe
这里是caffe框架目录，要事先编译一遍。
experiments
输出的日志文件在logs文件夹下
训练时运行的脚本在scripts文件夹下，可以用end2end或者alt_opt两种方式训练。rfcn_end2end_ohem.sh脚本需要根据使用的数据集做改动。

./expriments/scripts/rfcn_end2end_ohem.sh 0 ResNet-101 fish4knowledge train_net.py

在这个脚本里可以设置迭代次数 “ITERS=*“，“0”代表用的GPU_id号，ResNet-101代表使用的预训练模型，fish4knowledge代表使用的数据集名称，需要在上面的脚本里添加自己的数据集case进去，train_net.py是训练网络的python代码，位于/tools文件夹下。

results

测试生成的val_pred.txt在这个文件夹下。接下来我们就讲测试部分了。

【测试】

*这些评测算法的代码可以参考PASCAL_VOC的评估代码
我就是下载下来再根据自己的数据集作修改的。
1.训练生成的模型在output文件夹里，复制粘贴到data/rfcn_models/目录下
2.修改tools/文件夹下的demo_rfcn.py并运行

“`
python demo_rfcn.py –gpu 0
““
在results/文件夹下会生成val_pred.txt；val_pred.txt文件的每一行对应一个检测到的目标，格式如下：

<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>

其中image_id为测试图片的id号即帧数（列于devkit/data/val.txt文件中，这个txt文件区别于上面的ImageSets/Main/下的txt，每行除了包括图片文件名（不含后缀），还有帧数）, class_id 为物体的种类（参见devkit/data/meta_data.mat（需要修改））, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。
3.用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。将第二步生成的val_pred.txt复制粘贴到devkit/data/目录下，运行.m程序之后可得知检测的mAP值。