论文阅读《FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding》

论文地址：https://arxiv.org/pdf/2103.05950.pdf
代码地址：https://github.com/megvii-research/FSCE
对比学习https://zhuanlan.zhihu.com/p/346686467

1、存在的问题

小样本目标检测的方法存在的不足是：分类任务相对回归任务的错误率更高。 目标框定位通常很准确，但是目标的类别识别经常发生错误。

样本不足，新类学习到的特征不足以去和基类中相近的目标进行区分，所以新类别容易被归结为基类中易混淆的类。

对比学习可以通过降低不同类别目标的相似性来减小类内差异，增大类间差异，这样就可以减少对于相似类别的误判。

对比学习的目标是学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。

2、算法简介

是一个基于微调fine-tune的方法。 第一次将对比学习引入到了小样本目标检测中来。

提出了一种 基于对比建议编码（FSCE）的小样本目标检测方法 ，在RoI 特征提取后添加了一个和回归、分类分支并行的 建议框对比编码（CPE）分支。

训练过程：
首先，使用丰富的基类数据（Dtrain=Dbase）训练Faster R-CNN检测模型。

然后，将训练好的模型迁移到小数据集上。小数据集是由新类和随机抽样的基类组成的混合数据集（$Dtrain=Dnovel\cup Dbase$）。在微调过程中，主干特征提取网络被冻结，联合优化回归损失、分类损失和对比建议损失。

3、算法细节

3.1、new-baseline

首先，回顾一下原始两阶段微调方法TFA：

1、在基本训练阶段，利用大量的基类样本对普通的两阶段目标检测网络（如Faster-RCNN等）进行训练。这个阶段是在基类上联合训练整个目标检测器，包括特征提取器和box预测器。
2、在微调阶段，在保持整个特征提取器不变的情况下，将新类随机初始化的权值分配给box预测网络，只微调box分类和回归网络，其他特征提取组件都被冻结了。
因此，其他网络层完全没有参与到新类的训练过程中，RPN，ROI特征提取器只包含从基类中学到的语义信息，这其实可以看作是一种对新类的过拟合训练。
同时，作者发现，在微调阶段，正样本的建议框数量只有基础训练时的1/4，因为许多包含新类别的建议框的置信度很低，会被NMS过滤掉，导致前景建议框的数量也随之减少，网络学习新类别的机会变少。

本文在TFA的基础上提出了一种new-baseline。

new-baseline在解冻RPN和ROI模块的同时应用了以下的两个策略：
1、在微调阶段，原始的TFA的RPN提出来的区域建议框较少， new-baseline使得经过NMS的建议框的最大数量扩大了两倍。 这就带来了更多的前景，相当于增加正样本的数量。

2、标准的ROI的batchsize是512，但前景建议框的数量比512的一半还少，因此 将ROI head 中用于损失计算的抽样建议框的数量减少一半。 相当于增加了前景建议框的数量，使得网络学习到了更多的新类特征。

3.2、对比建议编码

首先，再来回顾一下Faster R-CNN的总体流程：

1、Backbone：conv+relu+pooling.
输入：图像
功能：提取输入图像的特征图
输出：特征图
2、RPN：
输入：Backbone的特征图
功能：生成建议框proposal
输出：建议框proposal
3、ROI Pooling：
输入：建议框proposal 和 Backbone的特征图
功能：将建议框proposal映射到Backbone的特征图上得到proposal feature maps，并将不同大小的proposal feature maps调整至统一大小
输出：一组向量（向量个数=建议框数量，向量大小=CxWxH，其中C为通道数，W=7，H=7）
4、分类分支：
输入：proposal feature maps
功能：得到区域建议框的类别
输出：cls_prob概率向量（区域建议框属于各个类别的概率）
5、回归分支：
输入：proposal feature maps
功能：确定目标检测框的精确位置
输出：每个proposal的位置偏移量bbox_pred
6、ROI head：
是由ROI pooling，box_head以及box_predictor结合在一起的，在Faster R-CNN中，ROI head对RPN产生的proposal进行pooling生成1024维的特征向量，再对该特征向量进行分类，以及bbox回归。
但是常规检测器无法为有限类别的区域建议框建立稳健的特征表示，即对于少样本来说是不够健壮的。
根据实验，在少样本的情况下，正样本分类器不能很好的区分它们。

为了更好的从小样本中学到更多的目标特征表示，文章提出了一种 批量对比学习方法（batch contrastive learning） 来更好的对 类内相似性 和 类间差异性 特征进行建模。

具体做法是 在ROI head中加入了一个对比分支（contrastive branch），与回归和分类分支并行，用于度量建议框的相似性

对比分支使用1层多层感知机（ 1层神经网络），将1 * 1024的ROI特征转化为1 * 128维的对比特征向量$x_i$。随后，计算对比特征向量的相似度分数，并将对比分支的损失加入到总的损失函数中进行优化，使得不同类别距离增大，相同类别距离减少。

采用基于余弦相似度的边界框分类器，计算出RoI 与各个类别的相似性度量。下式表示第 i 个 RoI 与第 j 个类别的相似性度量：
l o g i t { i , j } = α x i T w j ∣ ∣ x i ∣ ∣ ⋅ ∣ ∣ w j ∣ ∣ logit_{\{i,j\}} = \alpha\frac{x_{i}^Tw_{j}}{||x_{i}|| \cdot ||w_{j}||} logit{i,j}​=α∣∣xi​∣∣⋅∣∣wj​∣∣xiT​wj​​
$\alpha$是增大梯度的尺度元素，实验设置为20，$x_i$是第 i 个实例的ROI特征，$w_j$是第 j 个类别的权重。

在余弦相似投影的超空间内，对比特征向量使用聚类的方法使得簇内距离更小，簇间距离更大。

3.3、对比建议编码的损失

对于每一个mini-batch，有N个ROI特征框， { z i , u i , y i } i = 1 N \{z_{i},u_{i},y_{i}\}_{i=1}^N {zi​,ui​,yi​}i=1N​，
$z_i$表示ROI head对第$i$个区域建议框所编码成的128维向量；
$u_i$表示建议框和真实框的IOU值；
$y_i$表示真实框的标签。
则设计对比建议编码的损失为：
$$L_{CPE}=\frac{1}{N}\sum _{i=1}^{N}f(u_i)\cdot L_{z_i}$$
L z i = − 1 N y i − 1 ∑ j = 1 , j ≠ i N ∣ ∣ { y i = y j } ⋅ l o g e x p ( z i ~ ⋅ z j ~ / τ ) ∑ k = 1 N ∣ ∣ k ≠ i ⋅ e x p ( z i ~ ⋅ z k ~ / τ ) L_{z_{i}} = \frac{-1}{N_{y_{i}}-1}\sum_{j=1,j\ne i}^{N}{||\{ y_{i}=y_{j}\}\cdot log \frac{exp(\widetilde{z_{i}} \cdot \widetilde{z_{j}}/\tau)}{\sum_{k=1}^{N}{||_{k\ne i}\cdot exp(\widetilde{z_{i}} \cdot \widetilde{z_{k}}/\tau)}}} Lzi​​=Nyi​​−1−1​j=1,j=i∑N​∣∣{yi​=yj​}⋅log∑k=1N​∣∣k=i​⋅exp(zi​ ​⋅zk​ ​/τ)exp(zi​ ​⋅zj​ ​/τ)​
f ( u i ) = ∣ ∣ { u i ≥ ϕ } ⋅ g ( u i ) {f(u_i)}=||\{u_{i}\geq \phi\}\cdot g(u_{i}) f(ui​)=∣∣{ui​≥ϕ}⋅g(ui​)

在上面的公式中，使用$f(u_i)$来减少偏离目标过多的建议框的数目，防止 IoU 得分过低使得proposal 中包含干扰的背景信息。（图像分类的所有语义信息来自于整张图片。而在目标检测问题中，用于分类的语义信息来自于RPN得到的region proposals，有些IOU较低的proposal可能含有较多的非目标信息。）

其中，$\widetilde{z_j}=\frac{z_i}{||z_i||}$，表示归一化特征；
$\widetilde{z_i}\cdot \widetilde{z_j}$表示第$i$个和第$j$个建议框之间的余弦相似度；
$N_{y_i}$是具有相同标签 $y_i$的建议框的数量；
$\tau$是超参数；
$\varphi$为IOU阈值，取值为0.7；
$g(u_i)$为权重分配函数，为不同的IOU赋予不同的权重。

最终的损失函数为：
$$\mathbb{L}=L_{rpn}+L_{cls}+L_{reg}+\lambda L_{CPE}$$

其中，$L_{rpn}$是二元交叉熵损失，用于从众多anchor中得到前景proposals、$L_{cls}$是交叉熵损失，用于proposals分类，$L_{reg}$是smoothed-L1损失，用于box回归。
当在微调阶段传输到新数据时，我们发现对比损耗可以以多任务方式添加到主要Faster RCNN损耗中，而不会破坏训练，$\lambda$设置为0.5，以平衡损失规模。

训练过程：
1、首先，使用丰富的基类数据（Dtrain=Dbase）训练Faster R-CNN检测模型。
2、然后，将训练好的模型迁移到小数据集上。小数据集是由新类和随机抽样的基类组成的混合数据集（$Dtrain=Dnovel\cup Dbase$）。在微调过程中，主干特征提取网络被冻结，联合优化回归损失、分类损失和CPE损失。

其实就是加了一个同类相吸，异类相斥的模块，使用聚类的方法来增大类间差异。

4、实验

实验参数设置

项目	Value
基线方法	Faster R-CNN
特征提取器	ResNet-101+FPN
batch-size	16
训练方法	SGD优化器
动量	0.9
权重衰减	0.0001
GPU数量	8

验证实验

PASCAL VOC PASCAL VOC中的20个类别分为15个基类和5个新类。所有来自PASCAL VOC 07+12 trainval集合的基类数据都被认为是可用的，新实例的K-shot是从新类中随机抽取的，K=1、2、3、5和10。

MS COCO 对于COCO中的80个类别，与PASCAL VOC相同的20个类别保留为新类，其余60个类别用作基类。在COCO 2014 val数据集的5K图像上评估了K=10和30个shot的检测性能，并获取了新类的COCOstyle AP和AP75。

消融实验

为了确定每个模块的最优参数值进行的消融实验：
1、对比分支的参数消融

2、对比编码损失的参数消融

new-baseline

FSCE各个组成模块的消融

5、结论

引入对比学习的思想

对实例进行建模而不是对类别进行建模

对比分支可以作为二阶段网络的一个即插即用模块