CVPR 2021 FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding

摘要

最近的研究表明，良好的特征嵌入是获得良好的学习性能的关键。我们观察到具有不同交并比(IoU)分数的目标候选框类似于对比方法中使用的图像内增强。 我们利用这种类比，并结合监督对比学习，以实现更稳健的对象表示在FSOD。 我们提出了通过对比建议编码(FSCE)进行小样本目标检测，这是一种简单而有效的学习对比感知对象建议编码的方法，它有助于对检测到的目标进行分类。 通过对比建议编码损失(CPE损失)，通过促进实例级的类内紧性和类间方差，缓解了分类错误问题。

方法

首先使用base 数据集训练一个标准的Faster RCNN，之后使用采样平衡的base类数据集和novel类数据集进行微调。backbone在微调过程中被冻结，ROI特征使用对比目标监督，联合训练对比建议候选框编码损失（CPE）和原始的分类任务。

引入一个对比分支去知道ROI特征去学习contrastive-aware proposal embedding。设计了一个对比的目标，以最大化within-category agreement和 cross-category disagreement.。

1、Strong baseline

存在的问题：
（1）RPN在级微调阶段每个图像的平均positive anchors是基础训练阶段的1/4，并且在微调的开始时，新对象的正锚从RPN得到的分数相对较低。由于客观性得分较低，较少的正锚可以通过非最大抑制(NMS)，并成为为新对象提供实际学习机会的建议。
本文的方法：
使用未冻结的RPN和ROI进行两个修改：
（1）在nms之后保留双倍的proposal
（2）将用于损失计算的RoI头中采样提案的数量减半，如在微调阶段，丢弃的一半只包含背景(标准RoI批处理大小为512，前景提案的数量远小于其中的一半)。
结果：

2、Contrastive object proposal encoding

类别级positive-margin classifer 在数据匮乏的设置中不起作用。为了从少量数据中学习到更鲁棒的表示特征，本文建议将批处理对比学习[34]应用于显式地建模对象建议嵌入的实例级类内相似性和类间区别[29,26]。为了将对比表示学习融入Faster R-CNN框架，引入了与分类分支和定位分支平行的contrastive分支。对比分支应用一层多层感知器(MLP)头，将RoI特征编码到对比特征$z\in R^{D_C}$，默认情况下$D_C$=128。之后度量在MLP头编码的RoI特征上的对象提案表示之间的相似度分数，并优化了一个对比目标。
采用余弦相似性来度量，预测第$i$个实例是第$j$个类别的分数由$x_i$的ROI特征和类权重$w_j$的余弦相似性来计算的：

对比对象方案嵌入形成了更紧密的簇，不同簇之间的距离增大，从而提高了检测模型在小样本设置中的通用性。

3、Contrastive Proposal Encoding (CPE) Loss

对于有N个RoI box feature的mini-batch { z i , u i , y i } i = 1 N \{z_i,u_i,y_i\}^N_{i=1} {zi​,ui​,yi​}i=1N​,$z_i$是contrastive head 编码RoI特征为第$i$个区域的proposal，$u_i$是与gt之间的IOU分数，$y_i$是gt的标签：

$N_{y_i}$是与$y_i$有相同标签的proposal数量，$t$是超参数，$\widetilde{z_i}=\frac{z_i}{||z_i||}$ ，$\widetilde{z_i}.\widetilde{z_j}$代表余弦相似性。
**Proposal consistency control **
与语义信息来自整个图像的图像分类不同，检测中的分类信号来自区域建议。 我们建议使用IoU阈值来确保用于对比的建议的一致性，同时考虑到低IoU建议偏离回归对象的中心太多，因此可能包含不相关的语义。$f(u_i)$控制proposal的一致性：

$\varphi$=0.7
$g(u_i)$可以为不同的函数，比如：$g(x)=x$, $g(x)=e^x-1$
总损失：