论文阅读——Frustratingly Simple Few-Shot Object Detection

最新推荐文章于 2023-02-17 20:23:15 发布

猫猫头不写bug

最新推荐文章于 2023-02-17 20:23:15 发布

阅读量686

点赞数

分类专栏：论文阅读 Few Shot Learning(FSL) 文章标签：算法人工智能计算机视觉目标检测

本文链接：https://blog.csdn.net/qq_36919342/article/details/124899364

版权

11 篇文章 0 订阅

订阅专栏

2 篇文章 0 订阅

订阅专栏

1. Motivation

$C_b$ ：基类，有许多实例
$C_n$ ：新类，只有K个（通常小于10个）实例
$\{(x,y),x \in X, y \in Y\}$ ：目标检测数据集，x为输入图像，y为标签
$y = \{(c_i,I_i),i = 1,..,N\}$ ，c表示类别信息， $\in C_b \cup C_n, I$ 表示图像x中对象实例的边界框坐标。
小样本检测器在基类和新类的测试集上进行评估。

在这里插入图片描述

Base Training

loss：
- $L_{rpn}$ 用于RPN输出，以区分前景和背景， $L_{cls}$ 是框分类器C的交叉熵损失， $L_{loc}$ 是框回归器R的Smooth L1损失。

Few-shot fine-tuning

Cosine similarity for box classifier
基于余弦相似度的盒分类器：

和分类器C的权重矩阵可以写成： $\in R^{d \times c},\quad W = [w_1,w_2,...,w_c]，$ 其中 $w_c \in R^d$ 是每个类的权重向量。
输出的类别C是输入特征F(x)和不同类别的权重向量的比例相似度分数S。
- $s_{i,j}$ 是输入x的第i个对象提议与j类权向量的相似度得分。
- $\alpha是比例因子，论文里面是20$

基于元学习的训练方法包括FSRW，MetaDet。流程如图所示：
在这里插入图片描述

通过学习一个特征重加权(如FSRW和meta R-CNN)或权重生成(如MetaDet)来帮助模型推广到新的类。（支持图像和标注对象的二值掩码作为元学习器的输入，生成类重加权向量来调节查询图像的特征表示。）
训练过程也被分为元训练阶段，其中模型只在基类的数据上训练，以及元微调阶段，其中支持集包括新类的少数示例和基类示例的子集。
本文微调方法只对网络的最后几层进行微调，采用正常的批量训练方案，这样做效率更高。

Result on PASCAL VOC
在这里插入图片描述

Results on COCO
在这里插入图片描述

以前的评估方法存在的问题：

以前的评估协议只关注新类的性能。这忽略了基类的潜在性能下降，从而忽略了网络的整体性能。
由于用于训练的样本较少，样本方差较大。这使得很难与其他方法的比较中得出结论，因为方差带来的误差影响着网络的精度，也就是分不清性能的提升是方差带来的还是网络自身的提高。

解决方案：

本文报告基类AP(bAP)和整体AP以及新类AP(nAP)。
本文在不同的随机训练样本上对模型进行多次训练，以获得平均数和置信区间。
使用PASCAL VOC的第一次拆分累计平均值和95%置信区间，在K = 1,3,5,10的40次重复运行中。虽然在第一个随机样本上的性能很高，但随着使用更多样本，平均性能显著下降。