题目:Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection
作者:Chenchen Zhu
一、研究动机
真实世界的数据往往服从long-tail分布,因此在进行目标检测时,新样本数据匮乏对性能影响极大。但是,无论数据的可用性如何,新类和基类之间的语义关系都是恒定不变的。
二、研究目标
提出了SRR-FSD(Semantic Relation Reasoning Few-Shot Detector ),将语义关系和视觉信息结合起来使用,将显式关系推理引入到新目标检测的学习中,即:
- 用语义嵌入表示每个类
- 用动态关系图增强语义嵌入
- 用分类器将图片表示映射到语义嵌入空间
三、技术方法(Semantic Relation Reasoning Few-Shot Detector)
1.Semantic Space Projection
(1)根据图片特征分类
p:可能性分布
(2)将图片特征映射到语义空间
We:单词嵌入
P:线性映射,将图片特征v和类别单词嵌入对齐。在训练过程中,We固定,可学习的参数为P;b用来模拟类之间的不平衡性。
2.Relation Reasoning(用知识图G模拟类之间关系)
在映射过程中,由于图片特征和语义嵌入之间存在域差异,所以利用类之间的显式关系来增强语义嵌入以减少差异。
G:数据驱动的动态关系图,用来模拟类之间的关系推理。同时,由于G是通过输入图片训练的,因此G也有助于减少域差异。
四、提出方法的依据
- 对视觉信息的依赖是样本数敏感的原因
- 当视觉信息匮乏时,显式关系推理尤为重要
五、实验效果