HyperNet_ Towards Accurate Region Proposal Generation and Joint Object Detection 论文笔记

background

任务：结合高层次和低层次的信息，提高对小目标的检测能力，加快检测速度
关键词：HyperNet
​

Introduction

在目标检测中，低层次的feature maps位置信息相对较多，定位性较强，但是用于检测的语义信息不够丰富，高层次的feature maps的用于检测的语义信息相对丰富，但是位置信息粗糙，而且，对于小目标的深层的语义信息因之前的对应的区域的分辨率较低，导致语义信息很粗糙，（可能是2*2的feature maps），在检测任务中可能会被忽略掉。
​

本文作者通过预训练的cnn网络，结合多层次的feature maps的输出（类似生成空间特征金字塔），得到富含多层次的不同的语义信息，称为Hyper Feature maps，然后在Hyper Feature maps上初始化提案区域，对然后通过ROI成13*13的feature maps，然后通过conv+fc的网络生成建议区域和得分，通过对建议区域网络的训练，在通过NMS，可以最终得到100个高质量的建议区域，然后对建议区域分类，完成最终的目标检测任务。

Model

整体结构

通过max pooling，deconv，生成250*150的feature maps
​

损失函数

回归用L1损失函数，分类的用softmax，然后交叉熵，与faster rcnn一样

Joint Training

步骤1:预先训练一个深度CNN模型，用于在步骤2和步骤3中初始化基本层。
步骤2:训练HyperNet生成区域建议。
步骤3:使用步骤2中获得的区域建议训练HyperNet进行目标检测。
步骤4:微调HyperNet，以共享步骤3训练的hyperfeature层来生成区域建议。
步骤5:使用从步骤4获得的区域建议，微调HyperNet用于目标检测，并固定共享的Hyper Feature层。
步骤6:输出步骤4和步骤5联合训练的统一HyperNet作为最终模型。

Speeding up

将对每个roi pooling后的feature maps 提前，即对Hyper Feature maps，先做conv，这样加速百分之七十，但准确率稍微下降
​

Experiments

proposals的质量






实验比较
​

Hyper Feature 可视化

Learn from paper

​

通过对Hyper Feature maps的语义的提案初始化，然后对每个提案分析，得到高质量的建议区域，牺牲了速度为了更高质量。


​

​

​

​