小样本学习导论

概念区分

meta learning 、 transfer learning 、 multi-task learning 、 few shot learning

• 多任务学习（multi-task learning）：

需要将多个任务同时学好。我们常见的机器学习方式是单任务学习与之相对，只做动物图像分类或人脸识别。而现实生活中的学习任务是有内在联系的，部分知识可以共享，例如，一位跳高运动员不仅要了解如何跳更高，还需涉及助跑，降落姿态等相关子任务内容。

• 迁移学习 ( transfer learning ) ：

给定源域 A 和学习任务a 、目标域 B 和学习任务b  ,迁移学习的目的是获取源域A  和学习任务a  中的知识以帮助提升目标域中的预测函数  的学习，其中A≠B  或者a≠b  。

一个典型例子就是在Imagenet训练一个backbone，然后在另一个新的数据集上（比如cifar、cub）的训练集微调（fine-tune）backbone，然后在这个新的数据集的测试集上对模型进行测试。

meta和transfer二者之间应该是没有绝对的分界线的，至少目前没有公认的分界线。

迁移学习、元学习、强化学习、联邦学习、对比学习等 - 是小叶呀 - 博客园 (cnblogs.com)

• 小样本学习 ( few shot learning )：

有观点认为few shot learning和meta learning是不同的两种方法，然而也有观点认为：meta learning是一种方式，few-shot learning是一类问题，我们用元学习的方式去解决少样本问题。目前我比较喜欢后者的表述，同时我认为在应用层面上看，这两个能用就行

求问meta-learning和few-shot learning的关系是什么？ - 腾讯云开发者社区-腾讯云 (tencent.com)

•  元学习（meta learning）

训练学得一个good representation，和测试时从有限labeled data建立一个好的分类器在一般的任务中是可以统一起来的（dense-feature based）。但在few-shot learning中，随着元学习方法的缺点不断被挖掘，这两点割裂开来，成为两个独立的问题。小样本学习只是一场学术界自嗨吗_zenRRan的博客-CSDN博客

meta-learning问题设定和few-shot的设定在我们看来是一种父类和子类的关系--他们都要求在新任务上只使用少量样本快速适应(fast adapt)，而meta-learning假设更充分:

1) 存在一个任务分布

2) 你的目标新任务也服从该分布

3) 可以获得一个(从任务分布)iid采样的元训练集用来训练你的模型

4) 以及一个iid采样(且与元训练集互斥)的元测试集来估计你的模型应用于目标任务的期望性能。

元学习方法可能存在一个重要问题：实际生活中，训练源数据分布和测试时的目标数据分布是不同的，而这直接导致元学习的任务同分布假设不成立，这是元学习效果不佳的重要原因之一。

总结一下，可以把对这几个学习打个比方（这个打比方其实并不准确）：

• 元学习：一个学生，在小学阶段，学习了语文数学甚至是音乐。在培养了很好的学习方法以后，利用这个学习方法，在学习新学科，物理，历史，政治的时候，就可以很好的上手并取得好成绩。
• 迁移学习： 一个学生，在小学阶段，在数学成绩上非常突出，那么他在上初中以后，学习了物理，同样也可以很容易上手。但是对于历史政治这两门课，他就感觉力不从心。
• 机器学习：一个学生，就是一个典型的偏科生。就数学学得非常好，甚至参加了小学数学奥赛。但是学习其他科目，都是一塌糊涂。

后面将更新具体的学习~