[文献阅读]Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? 思维导图

Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?

摘要

最近元学习研究的焦点一直集中在开发能够快速适应测试时间任务、数据有限且计算成本低的学习算法。小样本学习被广泛用作元学习的标准基准之一。在这项工作中，我们证明了一条简单的基线：在元训练集上学习监督或自监督表示，然后在该表示之上训练线性分类器，其性能优于最先进的小样本学习方法。通过使用自蒸馏可以实现额外的提振。这表明，使用好的学习嵌入模型可以比复杂的元学习算法更有效。我们相信，我们的发现促使人们重新思考小样本图像分类基准以及元学习算法的相关作用。https://github.com/WangYueFt/rfs/

在元训练集上学习监督或自监督表示，然后在该表示之上训练线性分类器，其性能优于最先进的小样本学习方法。通过使用自蒸馏可以实现额外的提振。

一、引言

元学习划分为两类方法

• 基于优化的方法侧重于设计能够快速适应每项任务的算法
• 基于度量的方法旨在找到好的度量标准(通常是内核函数)，以避免对每个任务进行内循环优化。

贡献

• 简单的baseline也能达到最先进的水平。许多最近的元学习算法并不比简单地通过代理任务(例如，图像分类)学习好的表示更好。
• 在简单基线的基础上，自蒸馏可以进一步提升性能
• 对基准进行广泛的测试，提出方法的组合比以前最先进的方法平均提高了3%。在新的基准测试MetaDataset1上，比以前的最佳结果平均高出7%以上。
• 除了监督训练之外，我们还表明，用最先进的自监督方法学习的表示法取得了与完全监督方法相似的性能。因此，我们可以简单地通过学习一个好的自监督embeding来“learn to learn”。

二：相关工作

基于度量的元学习

核心思想是KNN和核密度估计

• 孪生网络
• 原型网络
• 匹配网络
• 关系网络
• TADAM

基于优化的元学习

• MAML
• …

理解MAML

元学习数据集

• Omniglot
• MIni-ImageNet

知识蒸馏

三、方法

3.1 元学习相关概念简介

3.2 学习一个嵌入，通过分类

为什么这么做，元学习驱动的机制没搞明白

3.3 蒸馏

预测标签与真实标签的交叉熵损失与预测标签分布概率的KL散度

四、实验分析

五、讨论

我们为元学习任务下的小样本图像分类提供了一个人简单的baseline。这一基线已达到领先水平。与自蒸馏结合能够提升2-3个点。

即使在元训练标签不可用时，使用自监督也可以学到非常好的嵌入。

论文的启发点：为小样本图像分类提供新的思路。表达起到重要的作用。只要学到好的数据表达，线性模型也可以泛化。

这个简单基线work的原因，有什么特殊的地方：小样本分类是元学习的一个特例。每个任务都是一个K-way问题，可以将N个K-way分类任务合并成一个更难得N K-way分类任务。

这个工作否定了元学习的最新进展吗？不。元学习的范围远不止小样本分类。尽管我们显示出简单的基准在小样本分类中胜过其他复杂的元学习算法，但MAML之类的方法在其他元学习领域（例如元强化学习）中仍然可能会比较有利。

蒸馏work的原因？证明了什么？软标签可以捕获到距离的度量。蒸馏可放大Hibert空间的正则化。