《Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector》

一、研究背景

目标检测任务是对图片中存在的待检测目标进行位置和类别标注。目前深度学习的方法 在目标检测任务上取得了显著的效果，但是基于卷积的深度学习方法需要大量带标签的训练 数据以及很长的训练时间。在现实场景中，对大量数据进行标注是非常耗费资源的，并且大 量收集某些带标签的数据几乎是不可能，比如某些医疗数据。 小样本学习在训练网络时利用少量的带标签的数据，缓解了标注数据不足的问题。目前 小样本学习主要被研究如何解决分类问题，小样本学习在目标检测领域的应用很少被探索。 小样本目标检测任务：给一个新目标的少量带标注的支持图像，目标是检测属于新目标 对象类别的测试集中所有新目标实例。

二、主要贡献

本论文主要做了两点贡献：
1、提出了一种通用小样本目标检测模型，该模型可以检测在训练时没见过的新目标， 并且不需要重新训练模型也不需要微调。在论文中精心设计了对比训练策略，PRN 上的注意 力模块和多关系检测模块。
2、构建了一个适用于小样本目标检测的数据集。此数据集有 1000 个类别，并且每个类 别只有很少的样本。

三、主要方法

3.1 问题定义

给一个包含类别 C 的支持图像 sc 和一个潜在包含支持类别 C 目标的查询图像 qc，任务 是在查询图像中找到属于类别 C 的所有目标并且用边界框将目标进行标注。如果支持集中包 含 N 个类别，并且每个类别包含 K 个样本，就将这个任务称为 N-way K-shot 目标检测。

3.2 网络结构

本文主要提出了一种新的注意力网络，它学习 RPN 模块和多关系检测模块上的支持集 和查询集之间的匹配关系，网络结构如下图 1 所示。具体来说，通过权值共享网络对查询图 像和支持图像进行处理，注意力 RPN 模块通过关注给定支持类别来过滤其他类别的目标候 选框和背景候选框，然后，多关系检测模块匹配查询候选框和支持目标输出检测结果。对于 N 个类别的训练，共有 N 个 RPN 注意力模块和多关系检测模块分支。

在传统的目标检测任务中，RPN 的主要任务是产生检测候选，在对候选框进行过滤时， 只根据前景背景过滤掉背景候选框，但是在小样本目标检测任务中，RPN 不仅仅只过滤背景 框，对于不属于当前类别的前景目标候选框也进行过滤。注意力 RPN 使用支持信息过滤掉 大多数背景框和不匹配的类别，可以产生一组更小，更精确的候选框，这些候选框包含当前 类别的概率更大，这种做法为后续任务减轻负担。RPN 的主要做法如图二所示，对支持特征 进行平均池化转化为 1×1×C 向量。 然后计算出与查询特征的深度交叉相关性，将其输出 作为注意特征输入 RPN 以生成候选框。

在 RPN 之后，连接着一个多关系检测模块，对 RPN 输出的候选框执行分类和回归操作， 本文为了让检测器具有很强的鉴别能力来区分不同的类别，提出了一种新的多关系检测模 块，如图三，该检测器包括三个注意模块，分别是全局关系模块使用全局表征去匹配图像， 局部关系模块学习像素对之间的匹配关系，块关系模块学习用于学习一对多的像素关系。

3.3 训练策略

一个好的模型不仅要匹配同一类别的对象，而且要区分不同的类别。为此，本文提出了 一种新颖的双向对比训练策略。随机选取一个查询图像 qc，一个包含相同 c 类别目标的支持 图像 sc和另一个包含不同第 n 个类别目标的支持图像 sn，构造训练三元组（qc，sc，sn）。在 训练三元组中，只有查询图像中的第 c 类目标被标记为前景，而所有其他对象被视为背景。 在训练过程中，该模型学习将查询图像中注意力 RPN 生成的每个建议与支持图像中的对象 进行匹配。因此，该模型不仅能在（qc，sc）之间匹配同一类别的对象，而且还能在（qc， sn）之间区分不同类别的对象。 四、总结 本文提出了一种新的基于注意 RPN、多关系检测器和对比训练策略的小样本目标检测网 络，并且提供了一个新的 FSOD 数据集，它包含了 1000 个不同种类的目标高质量注释。本 文在 FSOD 上训练的模型可以不进行预先训练或进一步网络自适应的检测出新类别的目标。 本文的模型已经被不同数据集的大量定量和定性结果所验证是有效的。

五、思考

目前深度学习方法需要大量的标注数据，目标检测任务也不例外，而小样本目标检测则 缓解了标注数据不足带来的问题，具有重要的研究意义。通过本文一些对比实验可以得知， 在训练期间训练类别种类的丰富性更加重要，在条件允许下，可以在训练期间使用更多的训 练类别来提高模型的检测性能。本文是小样本目标检测方向为数不多的研究成果，为之后的 研究奠定了基础，但是本文也存在一些不足，在本文提出的模型中，为所有的训练类别和新 测试类别提供了相同的特征提取器，这就存在类别自适应的问题，当新类别的重要特征分布 与训练类别重要特征分布不同时，就会导致新类别通过特征提取器得到的特征图表达能力 弱，不利于之后的目标分类和回归任务，对本文的一个改进方向是设计一个类别自适应的特 征提取器，为下游任务提供一个更好的特征表达。