小样本学习

背景

深度学习背景下，每个类至少需要上千张训练样本才能使CNN在已知类别上性能饱和。此外，神经网络 泛化能力 薄弱，当 new class 来临时, 模型很难通过少量的标记样本就学会识别 new concepts (概念)。然而这一切对于人类来说却不成问题，我们人类是具有快速从少量（单）样本中快速学习能力的。即使对于一个五六岁的孩子来说，他从没有见过 “熊猫”，父亲给他看了一次熊猫的图片后，孩子到了动物园也会认识到那个黑眼圈，胖胖的动物叫“熊猫”啊。

有的朋友可能会想，为什么我们人类总是能快速的学习到未知的事物？简单的说，是因为人类生活中各种知识的积累以及人类天生的思考能力（如：类比能力）。知识的积累意味着我们是存在各种知识的先验的，天生的思考能力意味着我们拥有强大的类比能力、强大的大脑算力。

以“人类从未见到过澳大利亚的鸭嘴兽，给我们一张鸭嘴兽的照片后，人类就认识了！”这句话为例。鸭嘴兽就代表未知的事物（new class），而我们生活中已经见到过的鸭子、狸猫、鱼等动物就代表知识的先验，我们把这种知识的先验称为 元知识 (meta Knowledge)，我们大脑的能快速的把从未见过的鸭嘴兽与这些元知识快速的类比（可能还存在一些其他脑力活动，如视觉提取物体的特征），得出结论：这个长得像鸭子嘴，还能像鱼一样游泳、身形扁扁的新动物就是鸭嘴兽。

小样本学习

机器学习目前都是类比人类的智能来做的，那么对应我们的机器模型，few-shot learning 又是怎么样的呢？
对应我们的机器模型，few-shot learning 的核心任务可以当成识别新的类。例如：我们已经通过些许动物（狗除外）的样本训练出来了模型，我们想让模型识别新的类-----狗。显然，这就是要把源知识（source）迁移到包含狗的知识领域来（target）。显然这正是迁移学习的范畴。这时候我们需要识别新的类------狗，比较简单的解决方案是什么呢？绝大部分同学会想到，把源模型当做预训练模型，修改全连接层，进行 fine-tune。

为了完成识别新类（狗）的问题，于是需要新来一张标好 label 的样本（如 ：有 label，样本是田园犬， 称作 sample set 或 support set）用来泛化模型，那么再来 test 样本时候（如：无 label，样本是哈士奇，称作 query set 或者 test set），我们就可以把这个 哈士奇的样本 label 标出来，达到分类的目的。这种学习叫做 one-shot learning，即单样本学习。
同样的，如果刚才来的是一堆标好 label 的样本（除了田园犬，可能还有京巴、吉娃娃、泰迪等做 support set），这种学习叫做 few-shot learning，即小样本学习，一般 few 不会大于 20。

解决小样本问题的一种模型（孪生网络）

它是一个双路的神经网络，训练时，通过组合不同类的样本成对，同时输入网络进行训练，在最上层通过一个距离的交叉熵进行loss的计算。在预测的时候，以5way-5shot为例，从5个类中随机抽取5个样本，把这个mini-batch=25的数据输入网络，最后获得25个值，取分数最高对应的类别作为预测结果。

原型网络 （Prototypical Networks）

该方法思想十分简单高效，效果也非常好。它学习一个度量空间， 通过计算和每个类别的原型表达的距离来进行分类。文章基于这样的想法：每个类别都存在一个聚在某单个原型表达周围的embedding，该类的原型是support set在embedding空间中的均值。然后，分类问题变成在embedding空间中的最近邻。如图8，c1、c2、c3分别是三个类别的均值中心（称Prototype），将测试样本x进行embedding后，与这3个中心进行距离计算，从而获得x的类别。

伪代码：

基于元学习meta learning

通过大量的数据，现在的AI系统能从0开始学习一个复杂的技能。我们希望AI系统能获得多种技能并能适应各种环境，但针对每种技能都从0开始训练是无法承受的。因此，我们希望它能够从之前的经验快速地学习新的技能，而不是把新的任务孤立地考虑。这个方法，我们称为元学习（learning to learn,或meta learning）, 使得我们的系统在它的整个生命周期中可以持续地学习各种各样的任务。
meta learning是机器学习的一个子领域，它自动学习一些应用于机器学习实验的元数据，主要目的是使用这些元数据来自动学习如何在解决不同类型的学习问题时变得灵活，从而提高现有的学习算法。灵活性是非常重要的，因为每个学习算法都是基于一组有关数据的假设，即它是归纳偏(bias)的。这意味着如果bias与学习问题中的数据相匹配，那么学习就会很好。学习算法在一个学习问题上表现得非常好，但在下一个学习问题上表现得非常糟糕。这对机器学习或数据挖掘技术的使用造成了很大的限制，因为学习问题与不同学习算法的有效性之间的关系尚不清楚。
通过使用不同类型的元数据，如学习问题的属性，算法属性（如性能测量）或从之前数据推导出的模式，可以选择、更改或组合不同的学习算法，以有效地解决给定的学习问题。
元学习一般有两级，第一级是快速地获得每个任务中的知识，第二级是较慢地提取所有任务中学到的信息。下面从不同角度解释了元学习的方法
通过知识诱导来表达每种学习方法如何在不同的学习问题上执行，从而发现元知识。元数据是由学习问题中的数据特征（一般的，统计的，信息论的…）以及学习算法的特征（类型，参数设置，性能测量…）形成的。然后，另一个学习算法学习数据特征如何与算法特征相关。给定一个新的学习问题，测量数据特征，并且可以预测不同学习算法的性能。因此，至少在诱导关系成立的情况下，可以选择最适合新问题的算法。
stacking. 通过组合一些（不同的）学习算法，即堆叠泛化。元数据是由这些不同算法的预测而形成的。然后，另一个学习算法从这个元数据中学习，以预测哪些算法的组合会给出好的结果。在给定新的学习问题的情况下，所选择的一组算法的预测被组合（例如通过加权投票）以提供最终的预测。由于每种算法都被认为是在一个问题子集上工作，所以希望这种组合能够更加灵活，并且能够做出好的预测。
boosting. 多次使用相同的算法，训练数据中的示例在每次运行中获得不同的权重。这产生了不同的预测，每个预测都集中于正确预测数据的一个子集，并且结合这些预测导致更好（但更昂贵）的结果。
动态偏选择(Dynamic bias selection)通过改变学习算法的感应偏来匹配给定的问题。这通过改变学习算法的关键方面来完成，例如假设表示，启发式公式或参数。
learning to learn，研究如何随着时间的推移改进学习过程。元数据由关于以前的学习事件的知识组成，并被用于高效地开发新任务的有效假设。其目标是使用从一个领域获得的知识来帮助其他领域的学习。