CVPR 2021 Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection

动机

深度学习算法通常需要大量的标注数据才能获得更好的性能。而大量的标注数据需要收集大量的样本进行标注完成，由于真实世界数据固有的长尾分布，如稀有动物之类的，只有少数样本可用，小样本目标检测是一个迫切而持久的问题。由于小样本目标检测的性能对显性和隐性的样本数量非常敏感，当数据有限时，性能也会急剧下降，很大程度上受到新类数据稀缺的影响。新目标的学习只通过图像，即视觉信息，并且各类之间的学习是独立的，不存在知识传播。然而因为图像数据的稀缺，视觉信息变得有限。但是无论数据的可用性如何，新类和基本类之间的语义关系都是不变的，结合视觉信息一起学习有助于标注标注完成。当视觉信息难以获得时，显性的关系推理会更有用。

方法简介

本论文结合这种语义关系和视觉信息，将显性关系推理引入到新目标检测的学习中，提出了一种新的小样本检测器（SRR-FSD），它以端对端的方式同时从那个视觉信息和语义关系中学习新的目标，在新目标的样本变化上是鲁棒和稳定的。将从大量文本中学习的语义嵌入用来表示每个类的概念，从而构建语义空间。在类的词嵌入的帮助下，检测器是用来训练去将目标从视觉空间投影到语义空间，并将其图像表征与相应的类嵌入进行对齐。语义空间投影学习将视觉空间中的概念与语义空间相匹配。但它仍然独立地对待每个类，类之间不存在知识传播。因此，进一步引入知识图来建模它们之间的关系。为解决用启发式知识图使用原始嵌入作用微乎其微以及视觉与语义间的跨域问题，代替使用基于启发式的预定义关系图，提出了一个由图像数据驱动的动态关系图，并利用学习到的图进行关系推理，扩充原始嵌入，减少域间距。学习动态图的另一个好处是，它可以很容易地适应新的类别。因为这个图不是固定的࿰