Few-shot Object Detection via Feature Reweighting
第一篇研究few-shot 目标检测论文。通过reweighting 模块快速调整元特征,同时用于检测base类和new类目标。
模型三个模块组成:Feature Extractor;Reweighting Module;Prediction Layer
Feature Extractor
基于darknet
m层特征
Reweighting Module主要是使用从base类中提取的属性特征对待检测图片特征进行调整。既然,我们需要提取base的属性特征,所以base类的标签一定是可知的。
在训练集中随机抽取N个类中的一张图片作为Support Set。将每张图片中的标签信息转为mask,然后将mask拼接到RGB图像中去,最后形成一个w×h×4的输入。然后输入到卷积层中提取属性信息。最后每一个类的对应图片会卷积为一个m维的向量,
使用前者作为1×1 depth-wise convolution 卷积核的权重来卷积后者。最后会得到待检测图片使用不同类别调整过后的特征,图片中深色的方片代表待检测图片和这一类图片在这个属性维度上比较接近
Prediction Layer
然后就简单了,将得到向量特征输入到常用的检测网络中计算待检测图像的一些损失