Frustratingly simple few-shot object detection

概述

这篇文章比较简单，仅对稀有类现有检测器的最后一层进行微调对于小样本目标检测任务至关重要。在目前的基准测试中，这种简单的方法比元学习方法提高了大约2~20个点，有时甚至是以前方法的两倍精度。

这里先介绍下基本概念

小样本学习：
1）标准小样本：给定一个大规模的训练集作为基类（base class），可以类比于人类的知识积累，对于从未见过的新类（novel class，与基类不重叠），借助每类少数几个训练样本，需要准确识别新类的测试样本。
2）广义小样本：相比与小样本学习，广义小样本学习中测试样本不仅包含新类，还可以包含基类，因此更具挑战性。

作者还发现由于评估方法大多是基于小样本的，这样就会导致样本的方差比较大，因此现有的评估方法具有较大的不稳定性。所以针对这个问题，作者提出了一种修正的评估方法。

为什么现有的数据集的样本偏差大，作者如何解决的呢？

基本思路

Stage 1：Base Training

这个阶段主要是利用大量的基本数据样本对普通的2D目标检测网络（如Faster-RCNN、）进行训练。这个阶段就是传统的训练方法。网络的loss有三部分构成:RPN网络、分类分支和边框回归。

Stage 2：Few-shot fine-tuning

第二阶段是基于小样本的微调。在保持整个特征提取器不变的情况下，将新类随机初始化的权值分配给box预测网络，只微调box分类和回归网络，即检测模型的最后一层。这个过程使用了和stage1相同的损失函数，并且缩小学习速率。

Cosine similarity for box classifier

其中，分类器的设计是基于cosine相似度函数，式子如2所示。其中Si,j为输入x的第i个候选对象与类j的权向量之间的相似度评分。α是比例因子。和FC-base的d分类器相比，基于instance-level feature归一化的余弦相似度分类器，后者有助于减少Novel类的方差，提高检测精度和减少检测的准确性，特别是在训练样本的数量很小的时候。

这里时“instance-level feature normalization”， 这个看下图就容易明白了。下图中绿色的为F(x)，另外在加上权重即可。

但得到这个S后，怎么用呢，目前还没看懂。

实验

从上面表格来看，确实有比较大的提升

Generalized few-shot object detection benchmark

这里比较关心这个

以前的问题

1. 太关注novel class，不怎么关心base class掉点的影响

2. 样本的偏差过大，导致很难和别的方法进行比较

在我们的banchmark中，既评价base的bAP，也评价novel的nAP。同时在不同的随机样本中多次训练发现，虽然第一个随机样本的性能很高，但随着使用更多的样本，平均值显著下降。当我们使用更多的重复评估，评价更稳定了

由于novel的样本较少，样本间的方差较大。这样评估的性能受到方差的影响会有较大的波动，这个波动可能会较大地影响结果，从而得到不准确地评估性能。为了解决这个问题，文章也提出了bAP和nAP来代表性能，并且增加随机抽样和重复评估过程获得一个较准确地评估benchmark。

 

参考文献

[1] Li B ,  Wu F ,  Weinberger K Q , et al. Positional Normalization[J].  2019.

[2] Gidaris S ,  Komodakis N . Dynamic Few-Shot Visual Learning Without Forgetting[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.

[3] Qi H ,  Brown M ,  Lowe D G . Low-Shot Learning with Imprinted Weights[J]. IEEE, 2017.

[4] https://blog.csdn.net/Neal_YG/article/details/105146362