小样本学习--笔记整理

0- What is Few-shot Learning？

one-shot learning产生的动机大家都比较了解。现在在互联网，我们主要用large-scale方法处理数据，但真实情况下，大部分类别我们没有数据积累，large-scale方法不完全适用。所以我们希望在学习了一定类别的大量数据后，对于新的类别，我们只需要少量的样本就能快速学习。

目前考虑的解决方法主要有两个：

第一个是人能够识别一个从没有见过的物体，也就是zero-shot learning；

第二个是从已有任务中学习知识，将其应用到未来模型训练中，可以认为是一个迁移学习的问题。

Few-shot Learning 是 Meta Learning 在监督学习领域的应用。

C-way K-shot 问题：在训练阶段，会在训练集中随机抽取 C 个类别，每个类别 K 个样本（总共 CK 个数据），构建一个 meta-task，作为模型的支撑集（support set）输入；再从这 C 个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）

1. How Few-shot Learning？

Few-shot Learning 模型大致可分为三类：Mode Based，Metric Based 和 Optimization Based

Model Based 方法旨在通过模型结构的设计快