few-shot learning(少样本学习/小样本学习) & one-shot learning(一样本学习) & C-way K-shot 问题

few-shot learning(少样本学习/小样本学习)       

       人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

      Few-shot Learning 是 Meta Learning 在监督学习领域的应用

 

        以“人类从未见到过澳大利亚的鸭嘴兽，给我们一张鸭嘴兽的照片后，人类就认识了！”这句话为例。鸭嘴兽就代表未知的事物（new class），而我们生活中已经见到过的鸭子、狸猫、鱼等动物就代表知识的先验，我们把这种知识的先验称为 元知识 (meta Knowledge)，我们大脑的能快速的把从未见过的鸭嘴兽与这些元知识快速的类比（可能还存在一些其他脑力活动，如视觉提取物体的特征），得出结论：这个长得像鸭子嘴，还能像鱼一样游泳、身形扁扁的新动物就是鸭嘴兽。

经过上图，再加上下面的过程的文字介绍，我们应该可以理解小样本学习的过程了。

 

那么，小样本学习如何训练，就是这个  怎么用呢？

有两种训练方式：

1. 就是像 《Matching Nets》《RelationNet》《Prototypical Nets》《Meta-SGD》等等那样，训练测试保持统一，训练过程模拟测试过程。即训练时候，以 MatchNets，5way-1shot为例，每次也是随机采5个类，每类中1张图像做support sample，剩余的 99 张图像中可采15张做query samples ，query 与 support 通过 cosine distance 分类并计算 loss。这属于一种元学习的训练策略，往往用于 5-way 的设置

2. 普通分类训练方式， 直接用普通分类方式来训练一个鲁棒的特征提取器，  可以直接通过 SVM，Euclid ，权重迁移的方式分出 query set。

 

C-way K-shot 问题

        few-shot 的训练集中包含了很多的类别，每个类别中有多个样本。在训练阶段，会在训练集中随机抽取 C 个类别，每个类别 K 个样本（总共 CK 个数据），构建一个 meta-task，作为模型的支撑集（support set）输入；再从这 C 个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）。即要求模型从 C*K 个数据中学会如何区分这 C 个类别，这样的任务被称为 C-way K-shot 问题。

 

     这里的少样本学习的研究领域与迁移学习有一大部分交集部分，即在源域有足够多样本，而在目标域样本不足。

 

     最近几年 Few-shot Learning 在图像领域的进展领先于在自然语言处理领域

 

 

One-shot learning 一样本学习

少样本学习，机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，对应的有one-shot learning, 一样本学习，也算样本少到为一的情况下的一种few-shot learning,