什么是小样本学习Few-Shot Learning、元学习

什么是小样本学习？

首先，看一下机器学习是怎么定义的。
机器学习：

FSL：

上面的概念是在论文《Generalizing from a Few Examples: A Survey on Few-Shot Learning》中定义的。
此外，在论文《Meta-learning for Few-shot Natural Language Processing: A Survey》中还提到，FSL在元学习中的新任务只有K个已标记的样本和大量未标记的测试实例。

元学习

元学习并不学习如何解决特定的任务。它接连学会解决许多任务。其目标：学习的目标是构建能够快速学习新任务的高效算法。将任务视为训练范例
Meta-learning vs. Transfer learning.

通常，迁移学习使用源任务的过去经验来改进目标任务的学习-通过预先训练参数以及可选的微调。迁移学习指的是一个问题领域(任务A帮助任务B)，而元学习指的是可以用来改进迁移学习和其他问题的方法(Hospedales等人，2020年)。

从技术上讲，迁移学习中的预训练通常不考虑其最终应用场景(例如，几枪任务)；取而代之的是，元学习特别针对受益于目标任务而优化(例如，系统配置被优化，使得它在目标几枪问题中只需要几次梯度更新)。

实际上，元学习假设培训任务与目标任务分布相同；这通常意味着所有所谓的任务(包括培训任务和目标任务)在不同的领域基本上是相同的问题，比如从其他产品领域的评论到目标手机的评论领域。相反，迁移学习没有这样严格的假设；理论上，迁移学习可以对任何可能对目标任务有帮助的源任务进行预训练(例如从一个问题回答任务到共指关系解决任务)。

Meta-learning vs. Multi-task learning.

如果我们认为上述迁移学习通常是一个从源任务到目标任务的顺序训练流程，那么多任务学习就是同时训练所有任务。

由于元学习也依赖于一组训练任务，所以元学习也是一种多任务学习。我们在这里总结了三个不同之处：
·多任务学习的传统目标是学习一个能推广到目标任务的预先训练好的模型；元学习试图学习一种快速学习目标任务的有效学习算法。
·此外，多任务学习可能比其他任务更倾向于数据量明显更大的任务，如图1所示。
·由于元学习将任务视为训练范例，理想情况下，训练任务越多越好。
然而，多任务学习在同时训练太多任务时可能会遇到越来越大的挑战。