【论文笔记】Rethinking Few-Shot Image Classification: A Good Embedding Is All You Need?

 

Rethinking Few-Shot Image Classification: A Good Embedding Is All You Need?

https://arxiv.org/abs/2003.11539(CVPR2020)

https://github.com/WangYueFt/rfs/(code)

 

keywords:  FSL、Embedding Model、Knowledge Distillation、Meta-learning、Self-distillation

Problem & Motivation

FSL是元学习重要的benchmark之一，针对FSL的任务，大多数是设计一个元学习算法，尝试从少数样本中获得样本的元知识，从而将元知识泛化应用到新的任务中。但是在这一篇文章中，作者发现一个性能好的embedding model要比复杂的元学习算法更加高效。所以文章从如何获得较优性能的Embedding Model角度出发，一方面通过优化embedding model的训练过程，另一方面引入知识蒸馏（Knowledge distillation）思想，通过多次迭代进一步优化Embedding Model的特征提取能力。文章在现有主流FSL的数据集中，均取得SOTA的效果。

Method

首先，在训练阶段，将meta-training set整合成一个单一的数据集，训练一个CNN模型作为representation，得到一个普通的分类器。接着将这个预训练好的网络除去最后一层，作为特征提取器。在meta-testing阶段，针对提取的特征，为每一个task各拟合一个线性分类器。进一步，作者将自蒸馏（Self-distillation）对已训练好的Embedding Model进行优化。

 

1.Problem formulation