元学习（Meta learning）中的N-way K—shot问题

一. 元学习中的N-way K-shot问题
元学习（Meta learning）引入了一系列的概念，这其中包括N-way K-shot，Meta-training、Meta-testing、Base class和Novel class，Support set和Query set等，如图1。其中Base class是Meta Training阶段借助的源域数据；Novel class是Meta Testing阶段要学习的目标域数据，其中Base class和Novel class没有交集。具体可参见下面链接中Few-shot learning methods部分。https://annotation-efficient-learning.github.io/

图1：Two Stages of Meta Learning

N-way K-shot 问题中N和K通常是指meta testing阶段Novel class中Support set下样本类别数量和每一类的样本量。通常为了保持meta training阶段和meta testing阶段的一致性，meta training阶段中Base class的Support set也会相同的设置N和K。

小样本学习要解决的是Novel class样本量少的问题，由于深度学习是吃数据的，没有办法直接在Novel class小样本上进行训练，所以借助Base class的数据进行学习。由于Novel class的样本量少，即使在Base class上微调的很好，在Novel class上过拟合也会很严重，所以出现了构造episode的想法，统一训练和测试的标准：Novel class上不是（N-way K-shot）小样本嘛，在 Base class也构造成多个（N-way K-shot）小样本任务。

二：N和K对元学习结果的影响

这一内容在论文Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples 中进行了研究。如图2所示：

图2：N和K对小样本学习结果的影响

显然随着N的增加，会增加分类任务的难度，从而使预测的准确率下降；随着K的增加，对于度量学习来说，相当于减小了有偏，降低了期望风险，对于MAML和Reptile等优化二阶梯度问题而言，相当于降低了每个episodes的过拟合程度，都会提高预测的准确率。然而每种模型受K增加的影响情况不同，比如：Prototypical Networks和fo-Proto-MAML随着K的增加一开始表现很好，但很快就饱和了，当K值超过20后，Finetune baseline成了表现最优秀的。总结：当K值小时，使用元学习方法；K值增大，Finetune的结果更好。