Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector 论文理解
解决什么问题
少量support的情况,检测全部的属于target目标范畴的前景
本文创新点\贡献
- 没有反复训练和fine-tune的情况检测新物体,探索物体对的联系。可以在线检测,在proposal前面使用attention模块很有用,联系模块能过滤
- 大量的数据集,1000个类,每个类只有少量样本,实验表明用这个数据集能达到的效果更好
本文IDEA来源
问题在于新的类别不错的框的分数低
方法
方法概述
在RPN前加一个attention,在检测器之前加了3个attention,然后还是用到了负support训练
问题定义
给定带有target物体特写的support图片 s c s_c sc,包含support中类别物体的query图片 q c q_c qc,support中包含 K K K类物体,每类 N N N个样本,所以就是 K K K-way N N N-shot检测
Deep Attentioned Few-Shot Detection
权重共享的框架由多个分支组成,分别为support和query服务,support根据输入有多个分支,图片只显示了一个。
query分支是一个FasterRCNN网络,包含RPN和检测器。
利用这个框架来学习support和query之间的匹配关系,更好的学习同类之间的一般知识。
以这个框架为基础,提出了attention RPN,还有多联系检测
Attention-Based Region Proposal Network
没有support,RPN就没有目标,后面的子分类就搞不清楚这么多的不相关目标。
使用support信息就能过滤掉大部分的背景框,还有那些不是匹配的类别
通过在RPN中用attention机制来引入support信息,来对其他类的proposal进行压制
通过逐深度的方法计算二者特征值的相似性,相似性用来生成proposal
support的特征是 X ∈ t S × S × C X \in t^{S\times S\times C} X∈tS×S×C,queroy的特征是 Y ∈ t H × W × C Y\in t^{H\times W \times C} Y∈tH×W×C,相似度定义如下: