论文阅读笔记《A closer look at few-shot classification》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文并没有提出新的小样本学习算法，而是对目前主流的小样本学习算法做了更加深入的比较和研究，提出了自己的一些观点。首先，作者按照统一的方式复现了Baseline方法（特征提取器+线性分类器），Baseline++方法（特征提取器+距离度量分类器），MN，PN，RN和MAML等元学习算法，这个过程中采用相同的backbone结构，相同的数据集，相同的训练策略。这样就能够在一个更加公平的基础上来比较各个算法之间的优劣。

  如上图中的结果显示，Baseline++方法的性能被严重的低估了，在统一的条件下，其性能是足以和许多元学习算法相媲美的，甚至在CUB-200这种类别内部差异较小的数据集上，其表现是优于元学习中的SOTA算法的。从实验中作者也发现，如果采用浅层的网络结构（如4-Conv），降低数据集类别内部的差异（intra-class variation）会能够有效提高分类算法的性能。然后，作者又研究了不同的Backbone对于算法性能的影响，作者分别尝试了4-Conv，6-Conv, ResNet-10, ResNet-18, ResNet-34等结构，结果如下图所示。

  作者发现在CUB-200数据集上，随着网络深度的增加，不同算法之间的差异变得更小了。而在mini-ImageNet数据集上，在5-shot情况下，不同算法之间的差异甚至变得更大了。作者认为造成这种状况的原因，是基础类别（用于训练）和新类别（用于测试）之间的领域差别（domain difference）的问题，CUB数据集中只有鸟类的图像，而miniImageNet包含跨度极大的多种类别的物体。作者进而又探讨了领域差异对于小样本学习算法性能的影响，结果如下图所示。

  作者认为随着领域差异的增大，基于少量新类别样本的自适应能力变得更加重要。在这一方面，Baseline方法通过在新的数据集上直接训练一个新的线性分类器，能够更好地适应新样本，所以表现地更好。

算法评价

  本文其实更像是一篇作者在研究，复现和实验现有算法过程中，总结出的一份实验报告，对于影响小样本分类的多个因素进行了更加深入和细致的研究，也提出了一些具有指导意义的观点。但我觉得本文最大问题在于，实验的基数太小了，所有的结论都只是来自于CUB和miniImageNet两个数据集上的结果，而且缺少理论上的阐述与推导，更多的是得到实验结果后，反向的来解释可能导致这一结果的原因是什么，这样就使得论文中的结论缺少一般性和可信度。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。