FSL入门综述

FSL 的定义

FSL是机器学习的一类问题，它具有以下的特点：
• Act as a test bed for human-like learning: To move towards human intelligence, the ability of computer programs to solve FSL problem is vital. 像人一样学习

• Reduce data gathering effort and computation cost: FSL can also help to relieve the burden of collecting large-scale supervised information. 减少数据收集和计算开支

• Learn for rare cases: Finally, it is through FSL that one can learn suitable models for rare cases of limited supervised data. 有限样本下的学习

和FSL很接近的概念

Semi-supervised learning，半监督学习：在有标签和没有标签的混合数据中学习最优假设。典型的两种学习是Positive-unlabeled learning和active learning。FSL与此不同，它可以是监督学习、半监督学习和强化学习，这取决于除了有限的监督信息外还有哪些数据可用，它既不需要存在未标记的样本，也不需要数据库。

Imbalanced learning，不平衡学习：从数据集中学习y的偏态分布（severely skewed distribution）。相比之下，FSL对y的训练和测试只是使用了几个样本。

Transfer learning，迁移学习：从有大量训练数据的源域和源任务学到的知识转移到训练数据有限的目标域和目标任务。典型的两种学习是Domain adaptation和zero-shot learning。FSL不需要是一个迁移学习问题。然而，当给定的监督信息仅限于直接学习时，FSL需要将先验知识转移到当前任务中。然后这类FSL问题就变成了转移学习问题。

Meta-learning，元学习：通过提供的数据集和元学习者（meta-learner）跨任务提取的元知识来改进新任务的P。许多FSL方法是元学习方法，使用元学习者（meta-learner）作为先验知识。

和Meta Learning

Few-shot Learning 是 Meta Learning 在监督学习领域的应用。Meta Learning，又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，在 meta testing 阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。

training

形式化来说，few-shot 的训练集中包含了很多的类别，每个类别中有多个样本。在训练阶段，会在训练集中随机抽取 C 个类别，每个类别 K 个样本（总共 CK 个数据），构建一个 meta-task，作为模型的支撑集（support set）输入；再从这 C 个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）。即要求模型从 CK 个数据中学会如何区分这 C 个类别，这样的任务被称为 C-way K-shot 问题。

训练过程中，每次训练（episode）都会采样得到不同 meta-task，所以总体来看，训练包含了不同的类别组合，这种机制使得模型学会不同 meta-task 中的共性部分，比如如何提取重要特征及比较样本相似等，忘掉 meta-task 中 task 相关部分。通过这种学习机制学到的模型，在面对新的未见过的 meta-task 时，也能较好地进行分类。

数据集

对training过程的support_set和query_set数据集使用的理解：

在training中包括使用support_set进行训练的过程，让模型学习某种能力，如果是文本分类，就让模型learning to learn 分类的能力。support_set是让模型在练习这种能力，query_set是在检测这种能力学习的效果。

在testing中support_set数据的类型是training中没有的，在testing过程中同样是有训练的，训练让模型快速增加新的知识，这里query_set 是在检测快速学习的新知识的效果，即快速学习得怎么样。

Model

Model Based 方法旨在通过模型结构的设计快速在少量样本上更新参数，直接建立输入 x 和预测值 P 的映射函数；Metric Based 方法通过度量 batch 集中的样本和 support 集中样本的距离，借助最近邻的思想完成分类；Optimization Based 方法认为普通的梯度下降方法难以在 few-shot 场景下拟合，因此通过调整优化方法来完成小样本分类的任务。