Learning from Very Few Samples:小样本学习综述（一）

原论文
Learning from Very Few Samples: A Survey
Lu, J., Gong, P., Ye, J., & Zhang, C. (2020). Learning from Very Few Samples: A Survey. arXiv preprint arXiv:2009.02653.

问题介绍

研究背景

人类智能可以很容易从一个或者几个例子中建立对新事物的认知，而机器学习需要数百个或者数千个监督样本来保证泛化能力。
深度学习的成功是因为三个关键因素：强大的计算资源（如GPU），复杂的神经网络，大规模数据集。
Few sample learning（FSL）的优势：1. FSL不会要求依赖大规模训练样本， 因此，避免了一些特定应用程序中数据准备的高昂成本。2. FSL缩减了人类智能和人工智能之间的差距。3. FSL可以对一个只有几个样本暂时可用的新任务进行低成本和快速的模型部署。

问题定义

在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是小样本学习要解决的问题。

小样本学习定义：给定一个任务T，由只有少数监督信息可用的数据集DT和一个与T无关的辅助数据集DA（如果存在）构成。FSL的目的是为任务T构建一个函数f，该函数将DT中的少数监督信息和DA中的知识输入到映射目标。需要注意的是DT和DA中的目标是正交的，即YT与YA的交集为空集。如果DA覆盖T中的类，即YT与YA交集为YT，那么FSL问题将成为传统的大样本学习问题。

专业名称：
对于任务T，$D_T=D_{trn},D_{tst}，D_{trn}=(x_i,y_i)，i=(1,N_{trn})，D_{t}st=x_j，j=(1,N_{tst})。$通常对于$D_{trn}$，有C类，每一类有K个样本（一般很小），称为C-way K-shot 任务。
仅仅利用$D_{trn}$小数据集不足以训练一个大的神经网络，只能在预测的时候提供一些参考信息，因此需要一个辅助训练集$D_A=(x_i^a,y_i^a)，i=(1,N_{aux})，$其中训练集$N_{aux}$远大于$N_{trn}$。
需要注意的是$D_A$不能包含属于$D_T$的类。

举例说明：上图中Training Set即为辅助训练集，拥有较多样本用于训练深度神经网络，support set即为包小样本数据集，用来提供监督信息，query为需要预测的数据集，利用supprort set提供的信息完成任务。
可以看到query的类会出现在supprot set中，而supprot set中的类不会出现在training set中。

FSL发展历史