少样本-FSRW

《Few-shot Object Detection via Feature Reweighting》 ICCV19

论文地址：https://arxiv.org/abs/1812.01866

代码地址：https://github.com/bingykang/Fewshot_Detection

目录

1 文章摘要

2 网络结构

2.1 特征提取模块 Feature Extractor

2.2 重加权模块 Reweighting Module

2.3 预测模块 Prediction Layer

3 训练策略

---

1 文章摘要

传统的深度卷积神经网络（CNN）目标检测器的训练需要大量的边界框标注，而对于稀有类别，这些标注可能无法获得。在本工作中，我们开发了一种少样本目标检测器，它可以仅从少量注释示例中学习检测新对象。我们提出的模型利用完全标记的基类，快速适应新类别，采用一个阶段的检测架构内的元特征学习器和重加权模块。特征学习器提取出可泛化到检测新物体类别的元特征，使用来自具有足够样本的基类的训练数据。重加权模块将来自新类别的少量支持示例转化为一个全局向量，该向量指示了检测相应对象的元特征的重要性或相关性。这两个模块与检测预测模块一起，基于一个情节式少样本学习方案和一个精心设计的损失函数进行端到端训练。通过广泛的实验，我们证明了我们的模型在多个数据集和设置下，比已建立的基线表现出更大的优势，用于少样本物体检测。我们还对我们提出的模型的各个方面进行了分析，旨在为未来的少样本检测工作提供一些启发。

2 网络结构

网络整体结构如下图所示。

2.1 特征提取模块 Feature Extractor

该部分网络结构为YOLOv2的主干网络，用于提取query图像的元特征。图像经该特征提取网络提取后得到w×h×m的元特征层，m为通道数，也就是需要学习的特征数。

 

用D表示特征提取模块，I表示输入图像，则元特征F为：F=D(I)

2.2 重加权模块 Reweighting Module

文章中对重加权模块的说明为：

“The reweighting module learns to capture global features of the support images and embeds them into reweighting coefficients to modulate the query image meta features.”

翻译：重新加权模块学习捕获支持图像的全局特征，并将其嵌入到重加权系数中，以调整query图像的元特征。

###

随机抽取训练集中每一类的一张图像，将其的图像标注转为mask（标注框内的为1，标注框外的为0。若图像上存在多个目标，则仅使用一个）。将该mask与RGB图像，组成w×h×4的输入。然后送入重加权模块（卷积层）提取信息，每一类会有一个对应的重加权向量。

用M表示重加权模块，Ii表示每类的输入图像，Mi为对应mask，则重加权向量Wi=M(Ii,Mi)

###

利用重加权向量对特征提取模块提取到的元特征层进行调整，每一类都会得到调整过后的特征层。

 ###

（自己理解）

重加权向量中存储的应该是特征的重要性系数，重加权向量对特征层的调整通过卷积实现，重加权向量中的值作为1×1卷积核的权重。通过这种方式，每一类目标重要的特征在特征层中被“放大”了。

比如：一只长毛猫，它又一个显著特征是它的“长毛”，长毛猫的重加权向量中，这个特征的重要性系数就会比较大。当输入的query图像是长毛猫时，经过调整，“长毛”这一特征会被“放大”，易于检测网络判断该类为长毛猫。若query图像不是长毛猫，特征层本身该特征不显著，在重加权后也不会突出。

2.3 预测模块 Prediction Layer

得到的每一类的特征层在检测网络中得到位置和类别，其用到的用于损失函数内容和普通目标检测是一样的：objectness、box、class

3 训练策略

遵从元学习以任务为单位的训练策略

① 在base类上训练：base类含有大量标注

② 在base+novel类上训练：novel类每类的标签较少，通常为k-shot，为平衡数据集，base类每类也只能选择k-shot