少样本学习1：Revisiting Deep Local Descriptor for Improved Few-Shot Classification

前言

通常解决小样本学习任务有两种主要的思路：

1. 迁移学习：最简单的方法是利用预训练好的特征提取器，使用少量的有标签样本对novel class重新训练一个分类器。
2. 元学习：基本思想是在base class 中构造小样本学习的任务来达到一个能够对小样本任务快速适应的模型。隐含的假设是构造的任务和实际测试的任务应该是同分布的（什么叫做the same distribution task 目前还没有明确的定义，有人说是形式一样，比如都是5-way-5-shot，这就叫做同分布）。一般会将数据集分成meta-train, meta-eval，meta-test三个部分来进行模型训练，模型和超参数选取和模型测试的过程。

小样本学习中的元学习：

1. Optimization-based approaches：由于小样本学习任务中label信息过少，在很少数据量中通过优化经验风险很容易导致网络过拟合到训练集，失去泛化性。元学习则是天生的解决小样本学习中的难点（很多人都这么说），元学习是指利用一些元知识来帮助模型学习，具体到小样本学习中，用于标签信息过少，我们希望能够学习到一些元知识（比如：通用的参数更新策略，如何进行参数初始化等）帮助模型能够快速泛化到新的任务上。这一类的代表方法是MAML，以及其变种如Reptile, LEO, MetOptNet等等。但是最近也有工作指出这一类基于优化的方法性能很大程度上决定于其学到的特征表示的好坏。
2. Metric-based approaches：其实这一类方法更接近于迁移学习，认为小样本任务只是特征表示学习的下游任务，其性能好坏很大程度上来自特征的好坏。这一类方法主要是通过在大规模