论文阅读笔记：A Closer Look at Few-shot Classification

论文：A Closer Look at Few-shot Classification / 近距离观察小样本分类问题

作者：Wei-Yu Chen，Yen-Cheng Liu & Zsolt Kira，Yu-Chiang Frank Wang，Jia-Bin Huang

发表刊物：ICLR

发表年度：2019

下载地址：https://arxiv.org/pdf/1904.04232.pdf

ABSTRACT

小样本分类旨在通过有限标记样例学习一个分类器来识别未知类，虽然近些年取得了一些重要的研究进展，但各方法网络结构、元学习算法的复杂性以及实现细节的差异为比较当前进展提出挑战。本文中，作者提出：1）对几种代表性的小样本分类算法进行一致性比较分析，结果证明随着特征提取神经网络模型能力的提升，在给定领域差异的数据集上，各方法的性能差异显著缩小；2）提出了一个基准模型，该模型在mini-ImageNet数据集和CUB数据集上的性能可以媲美几种SOTA方法；3）提出了一种新的用于评估小样本分类算法跨领域泛化能力的实验设定，结果发现当特征提取神经网络能力较弱时，减少类内差异是提升模型性能的一个重要因素，当特征提取神经网络能力较强时，类内差异不再关键。在一个实际的跨领域设定中，作者发现基准模型+微调的方式可以得到比SOTA更好的性能表现。

1 INTRODUCTION

深度学习模型在图像分类等视觉识别任务中的成功严重依赖于大量的标记训练数据，但人工标注的成本以及少量类别标记数据的稀疏性限制了视觉模型通过极少量标记样本学习识别新的类别，因此通过有限标记样本学习新类别这一问题引起了学者们的研究兴趣，将该问题称为小样本分类问题。解决小样本分类问题的一个方向是元学习，元学习通过从一组任务中提取可迁移的知识来防止模型出现过拟合、提升模型的泛化能力，典型的基于元学习的小样本分类方法又可分为基于模型初始化的方法、基于度量学习的方法和基于数据增强的方法，此外，研究表现通过直接预测新类别分类器的权重同样可以取得不错的效果。

局限性：虽然很多小样本分类算法声称相比于SOTA取得了性能提升，但要想对这些方法进行公正的比较和评估该领域实际进展，需要克服两个挑战：1）多种小样本学习方法在实现细节上的差异掩盖了相对的性能增益；2）当前的评估中的训练集和测试集往往来自于同一个数据集，没有考虑到基类和新类之间的领域漂移现象。

本文的工作：作者提出了一个详细的实验研究，以阐明小样本分类问题：1）在同一背景下对比了几种经典的小样本分类方法，证明了特征提取神经网络的重要性；2）通过将线性分类器替换为基于距离的分类器，基准模型可以达到与当前SOTA可比较的性能；3）提出了一个更符合实际的评估设定，该设定考虑了基类和新类间的领域漂移现象，发现复杂的小样本学习算法在该设定下并不能取得比基准模型更好的表现。作者公开了源代码和模型实现，旨在促进领域发展。

贡献：1）为公平比较几种典型的小样本分类算法提供了一个统一的测试台，实验结果揭示了当前研究中普遍使用浅层特征提取神经网络会为显式减少类内差异的方法带来性能提升，在领域差异有限的设定下，提升模型的特征提取能力会缩小不同方法的性能差距；2）实验证明在mini-ImageNet数据集和CUB数据集上，带有基于距离的分类器的基准算法能取得相对于SOTA可比较的性能；3）对比了在基类和新类间存在领域漂移现象时各类算法的性能，实验结果显示当前的小样本分类算法不能很好地解决领域漂移问题，证明了在小样本学习中学习适应领域差异的重要性。

2 RELATED WORK

小样本学习旨在通过有限标记数据学习识别新类别，可以将小样本学习算法分为三大类：基于初始化的方法、基于度量学习的方法和基于数据增强的方法。

基于初始化的方法：学习微调，旨在学习一个好的模型初始化策略，使得能够通过少量标记数据和有限的梯度更新轮次即可完成对新类别的分类，或者学习一个优化器。

基于距离度量的方法：学习比较，如果一个模型能够计算两张图像的相似度，那么它可能基于标记数据对未知图像进行分类，一般基于余弦相似度、欧式距离、岭回归、图神经网络等计算距离。

基于数据增强的方法：学习增强，旨在通过学习一个数据生成器，通过数据生成器增强新类的样本量。由于基于数据增强的方法往往与零样本方法协同优化，所以本文作者不考虑基于数据增强的方法。

领域自适应：一种旨在缓解源领域和目标领域间领域漂移现象的技术。小样本分类与领域自适应类似，区别在于在领域自适应中，目标域往往拥有大量的可用样本，而小样本学习在新领域中仅有少量可用样本。

3 OVERVIEW OF FEW-SHOT CLASSIFICATION ALGORITHMS

作者提出的基准模型和基准模型++：

本文中用作对比的几种经典的小样本分类算法：

4 EXPERIMENTAL RESULTS

作者主要做了三组实验：一般性的目标识别、细粒度图像分类、跨领域自适应。

对于目标识别：实验mini-ImageNet数据集，该数据集包括100个类别，每个类别包括600张图像，使用64个类别作为基类、16个类别做验证、20个做测试；

对于细粒度分类：实验使用CUB数据集，该数据集包括200个类别、11788张图像，取其中100个作为基类、50个做验证、50个做测试；

对于跨领域场景：实验使用mini-ImageNet数据集作为基类、50个来自CUB数据集的类做验证、50个来自CUB数据集的类做测试。评估跨领域场景允许我们理解小样本学习中的领域漂移问题。

使用标准设定评价：作者将自己跑出来的结果与各方法原始提出论文中的结果做比较，发现两者差异不超过2%，作者猜测差异是由一些实现细节的差异造成的；作者在CUB数据集和mini-ImageNet数据集上分别做了1-样本和5样本的实验，结果证明提出的基准模型++效果很好。

网络深度增加的影响：

作者进一步通过实验查看特征提取网络深度对小样本分类模型性能的影响。结果证明随着网络层数加深，各方法在CUB数据集上的性能差异减小；在mini-ImageNet数据集上进行的5-样本实验证明一些基于元学习的小样本分类方法性能不如基准模型。

基类和目标类间领域差异的影响：

作者通过实验验证领域漂移对各种小样本分类算法的影响得出结论当前的小样本分类算法不能很好地应对领域漂移问题。随着领域差异变大，学习基类和新类间的领域适应性将变得越来越重要。

进一步适应的影响：得出结论在元训练阶段学会领域自适应将会是基于元学习的小样本学习研究的未来重要方向。

5 CONLCUSIONS

本文中，作者调查了小样本分类标准评估设定的局限性，通过在相同设定下比较不同方法，证明基准方法++在标准设定下可以取得与SOTA可比较的性能，而带有较强特征提取能力的基准方法在CUB和mini-ImageNet数据集能够取得与SOTA可比较的性能。在考虑到领域漂移设定下，基准方法优于经典的元学习算法。作者公开了源代码以促进领域的发展，指出在小样本分类中考虑领域漂移问题和领域适应的重要性。