Generalizing from a Few Examples: A Survey on Few-shot Learning

1 Introduction

目标 : 机器像人类一样智能
进展： 借助强大的计算机设备（GPU,分布式平台）、大型数据集、先进的模型和算法，$AI$智能不断提高，并在不少领域击败人类，同时$AI$也给日常生活中许多智能工具的发展带来了帮助
问题： $AI$ 在小样本方面表现不好，而人类却能利用过去学到的知识来快速适应新任务
方向： 弥合$AI$同人类之间的差距。由于$ML$ 能够随着经验来自动提高性能（concerned with the question of how to construct computer programs that automatically improve with experience），可以借助此来解决小样本问题

$FSL$的目的/作用：

• 可以从有限数量的带标签样本中学习
• 可以在带标签样本很难或不可能获取的情况下学习
• 可以帮助减轻收集大规模标签样本的负担

---

本片文章的贡献：

• 给出了$FSL$的正式定义，不仅概括到包括现有的$FSL$工作，而且还具体到阐明$FSL$的目标是什么以及我们如何解决它
• 用具体的例子列出$FSL$的相关学习问题，澄清它们与$FSL$的相关性和差异
• 指出$FSL$监督学习问题的核心问题是不可靠的经验风险最小化，并基于机器学习中的误差分解对其进行了分析
• 进行广泛的文献阅读，并从数据、模型和算法的角度将它们组织在统一的分类中，还对每个类别的优缺点进行了总结和讨论
• 在问题设置、技术、应用和理论等方面提出了$FSL$的发展方向

---

Notation

• 对于一个$FSL$任务$T$，给定一个数据集$D=(D^{train},D^{test})，D^{train}=(x^i,y^i),i=0,...,I(I$通常很小)为训练集，$D^{test}=x^{test}$为测试集

• 假设任务的真实分布为$p(x,y)$，对此真实分布应该有一个最优假设(optimal hypothesis)$\hat{h}$来描述它，我们需要做的就是去求出这个最优假设，但很难

• 通常的做法是，给定一个假设空间$H$，然后从里面找一个假设$h$来逼近$\hat{h}$。假设空间$H$由你的模型和参数的初始化决定，寻找$h$的过程就是优化过程

• 实际上就是机器学习的过程描述，只是此时数据集很少

2 Overview

2.1 Problem Definition

背景： $FSL$ 是 $ML$ 的一个子领域

---

定义一：机器学习

经验 $Experience$ : $E$，数据集
任务 $Task$ ：$T$,如图像分类
性能度量 $Performancemeasure$ : $P$，如分类准确性

• 一个计算机程序的性能可以通过经验来提高，该经验与用性能度量来衡量的任务相关，那么它就可以从关于任务和性能度量的经验中学习
• A computer program is said to learn from experience E with respect to some classes of task T and performance measure P if its performance can improve with E on T measured by P

---

定义二：$FewshotLearning$

• a type of machine learning problems (specified by E, T , and P), where E contains only a limited number of examples with supervised information for the target T

---

$FSL$应用：

• 监督学习问题
  • $Fewshotclassification$
  • $Fewshotregression$
• 强化学习问题
  • $Fewshotreinforcementlearning$

具体应用场景例子：

与表1相比，表2的经验E多出了$priorknowledge$一列，原因在于：$FSL$的$E$只包含与任务$T$相关的少量的有监督信息的样本，导致一般的监督学习方法会在此问题上失败，因此$FSL$选择将已有的监督信息与一定的先验知识结合

---

补充：

• $oneshotlearning$: 在$E$中只有一个样本
• $zeroshotlearning$: 在$E$中不包含任何样本，但需要包含其他形态的信息，如属性，词嵌入$wordembeddings$【给定先验的知识，形状像马，身上有像老虎一样的条纹，且像熊猫一样是黑白色的，就可以找到斑马】

2.2 Relevant Learning Problems

讨论一些相关的机器学习问题

• $Weaklysupervisedlearning:$ $E$中的监督信息不完整、不准确、有噪声；$FSL$可以看作是一种弱监督——不完全监督，只有少量的样本含有监督信息
  • $Semi-supervisedlearning:$ 在标记样本数量很少的情况下，通过在模型训练中引入无标记样本来避免传统监督学习在训练样本不足(学习不充分)时出现性能(或模型)退化的问题；具体案例包括$Positive-unlabeledlearning$
  • $Activelearning:$ 模型主动地提出一些标注请求，将一些经过筛选的数据提交给专家进行标注
  • 区别：
    • 不完全监督的弱监督学习只包括分类和回归，而FSL还包括强化学习问题
    • 不完全监督的弱监督学习主要使用无标签数据作为$E$中的附加信息，而$FSL$利用各种先验知识，如预训练的模型，来自其他领域或模态的监督数据，并且不限制使用无标签数据

---

• $Imalancedlearning$: $E$中的样本类别不平衡（比例不平衡）
  • 区别： 不平衡学习从数据集中学习y的偏态分布（severely skewed distribution）；而$FSL$的训练和测试只使用了几个样本

---

• $Transferlearning$: 将从有大量训练数据的源域和源任务学到的知识转移到训练数据有限的目标域和目标任务
  • $Domainadaptation:$ 源/目标任务相同，但源/目标域不同
  • 联系： 迁移学习方法在$FSL$被广泛使用

---

• $Metalearning$: 通过提供的数据集和元学习者（$meta-learner$）跨任务提取的元知识来改进新任务的$P$,$meta-learner$在任务中捉奸学习通用信息（$meta-knowledge$）。许多$FSL$方法是元学习方法

---

注：$FSL$可以是各种形式的学习，监督，半监督，强化学习，迁移学习等等，其本质上的定义取决于可用的数据。但现在大多数时候在解决FSL任务时，采用的都是$metaLearning$

2.3 Core Issue

2.3.1 $EmpiricalRiskMinimization$

• 最小化损失函数：机器学习中寻找最优的假设$h$通常是找到一组最优的参数来确定该假设，并通过给定的训练集，最小化损失函数（如下所示）这一目标来指示最优参数的搜索
  $$\underset{\theta }{\min }\sum _{(x^{(i)},y^{(i)})\in D^{train}}l(h(x^{(}i);\theta ),y^{(i)})$$

• 期望风险：训练模型时是通过训练集来拟合真实分布，但存在训练出来的分布同真实分布不一样的情况，中间的差值称为期望风险$R$（expected risk，期望损失），表达如下
  $$R(h)=\int \ell (h(x),y)dp(x,y)=\mathbb{E}[\ell (h(x),y]$$

• 经验风险： 理论上说，让期望风险最下化才能逼近真实分布，但因为你并不知道真实分布，所以最小化期望风险是无法实现的，而在机器学习中通常用经验风险（empirical risk）来替换期望风险，经验风险就是在训练集上预测的结果和真实结果的差异，也是我们常说的损失函数，表达如下
  $$R_I(h)=\frac{1}{I}\sum _{i=1}^I\ell (h(x_i),y_i)$$

损失函数、期望风险、经验风险

---

为了分析，给出符号定义：

其中，$\hat{h}$是真实分布的假设，$h^{\ast }$是在假设空间$H$中最小化期望风险得到的假设，$h_I$是在假设空间$H$中最小化经验风险得到的假设

为了简单，这三个假设都是唯一的，那么$totalerror$可被分解为：
$$\mathbb{E}[R(h_I)-R(\hat{h})]=\underset{{\epsilon }_{app}(H)}{\underbrace{\mathbb{E}[R(h^{\ast })-R(\hat{h})]}}+\underset{{\epsilon }_{est}(H,I)}{\underbrace{\stackrel{~}{}\mathbb{E}[R(h_I)-R(h^{\ast })]}}$$

• 等式右边第一项表示的是假设空间$H$中期望的最优假设和真实假设近似误差【只管眼前不顾未来预测，过拟合】，即$approximationerror$，这一项其实由你所选择的模型和参数的初始化分布决定的，这也就是为什么有的时候，模型选择的简单了，你给再多的数据也训练不好，欠拟合
• 等式右边第二项就是我们训练得到的假设(最小化经验风险得到的)和H中期望的最优假设的估计误差【使估计系数尽量接近真实系数，但是此时对训练样本（当前问题）得到的估计值不一定是最接近真实值的估计值；但是对模型本身来说，它能适应更多的问题（测试样本】,即$estimationerror$，我们训练得到的假设也是从假设空间H中选择的，但有时候会陷入局部最优，或者提供的训练数据分布有偏差，导致无法到全局最优

2.3.2 $UnreliableEmpiricalRiskMinimizer$

+对于等式右边第二项 当样本数量足够大时，理论上有：
$${\epsilon }_{est}(H,\infty )=\underset{I\to \infty }{\lim }\mathbb{E}[R(h_I)-R(h^{\ast })]=0$$

• 传统的机器学习都是建立在大规模的训练数据上的，因此${\epsilon }_{est}(H,I)$是很小的
• 但是在FSL任务上，训练数据很小，因此${\epsilon }_{est}(H,I)$是很大的，所以如果采用传统的训练模式，如softmax+交叉熵，将极容易陷入过拟合（overfit）【对训练集内所有样本表现都很好，但到了测试集就不行了】，此时经验风险不可靠
  
  FSL的主要任务： 最小化估计误差过大的问题

注：

https://www.cnblogs.com/jiangxinyang/p/12163215.html

2.4 Taxonomy

为了缓解$FSL$监督学习中具有不可靠的经验风险最小化$h_I$的问题，必须使用先验知识

根据使用先验知识增强了哪些方面，现有的FSL作品可以分为以下几个方面：

• $Data$: 使用先验知识来增强训练数据集——增大数据量，那么传统的机器学习模型和算法就能运用在增强后的数据上
• $Model$:使用先验知识来限制模型复杂度，降低假设空间$H$的大小(根据先验知识，灰色部分不包含最优假设$h^{\ast }$)，使得当前的数据集可以满足
• $Algorithm$：使用先验知识来提供一个好的搜索策略，寻找最优假设的参数$\theta$，可以是一个好的搜索起始点，也可以是一个明确的搜索策略，来寻找最优点

3 DATA

在$FSL$方法中

• 可以通过$hand-crafted$规则进行数据增强

  • 高度依赖领域知识，需要昂贵的人力成本
  • 扩充规则可能是特定于数据集的，这使得它们很难应用于其他数据集
  • 人类不可能列举出所有可能的不变性
  • 人工数据增强并不能完全解决$FSL$问题

• 也可以通过以下更高级的方法进行数据增强
  

结论：

• 一般来说，通过增加$D_{train}$来解决$FSL$问题是简单易懂的——通过利用目标任务的先验信息来扩充数据
• 然而，通过数据增强来解决FSL问题的缺点是增强策略通常是以一种特别的方式为每个数据集量身定制的，并且不容易用于其他数据集(特别是来自其他领域的数据集)
• 当前也有出现了$AutoAugment$技术
• 当前大部分方法主要针对图像设计，文字、音频等很少

4 MODEL

• 如果我们想使用机器学习模型来解决$FSL$问题，我们需要使用假设空间$H$很小的模型，这样样本复杂度也就小了
• 对于一些简单的任务，这样是可行的，但是对于复杂的任务，小的模型会导致${\epsilon }_{app}(H)$很大，而现实中大多数任务都很复杂，它们的特征很多，且特征维度也很高
• 因此我们只能一开始给一个假设空间H很大的模型，然后通过一些先验知识将这个空间中无效的假设去掉，缩小假设空间，方法可以分类如下：

4.1 Multitask Learning

• 在存在多个相关任务的情况下，多任务学习通过利用任务通用信息和任务特定信息同时学习这些任务
• 由于这些任务是同时学习的，各任务学习得到的参数受其他任务的约束

根据任务参数的约束方式，多任务学习分为参数共享(parameter sharing)和参数绑定(parameter tying)

4.1.1 Parameter Sharing（hard parameter sharing）

可以是数据相同任务不同，也可以是数据和任务都不同，但是数据具有领域性等等

• 不同task之间共享相关层的参数，而在task-specific层和classification层对于特定的任务不做共享，这样做就能利用先验知识缩小假设空间

• 由于对于大部分参数进行了共享，模型的过拟合概率会降低，共享的参数越多，过拟合几率越小，共享的参数越少，越趋近于单个任务学习分别学习

4.1.2 Parameter Tying（soft parameter sharing）

每个任务都有自己的模型和参数，需要调整模型参数之间的距离，使得不同模型之间参数尽可能的相似，也就是参数之间的距离最小化，常见是正则化

4.2 Embedding Learning

相信这个世界是简单的
Representation Learning

• 将训练集中所有的样本通过一个函数$f(.)$嵌入到一个低维可分的空间$Z$
• 将测试集中的样本通过一个函数$g(.)$嵌入到这个低维空间Z
• 通过相似度函数$s(.)$计算嵌入后的测试样本和所有训练样本之间相似度，选择相似度最高的样本的标签作为测试样本的标签

• 原理是将原始数据压缩至一个更小的低维空间，以此换来一个更小的假设空间
• 关键就是嵌入函数怎么获得——通过学习

根据根据嵌入函数$f(.)$和$g(.)$在不同任务中的参数是否不同,嵌入学习可以分为任务特定$task-specificembeddingmodel$、任务不变$task-invariantembeddingmodel;$、两者混合$hybridembeddingmodel$ 三类

4.2.1 Task-specific Embedding Model

仅使用来自该任务的样本来学习为每个任务量身定制的嵌入函数

4.2.2 Task-invariant Embedding Model

• 从包含足够样本和各种输出的大规模数据集中学习一般嵌入函数，然后直接将其用于新的小样本训练集$D_{train}$中，而无需重新训练
• 有很多工作在训练时模拟few-shot learning的场景，用N个类中的U个类用于训练
• 大多数任务不变嵌入模型通过$meta-learning$方法获得
  

4.2.3 Hybrid Embedding Model

• 上两种模型都有优缺点：
  • 一个具有较好的特殊性，但需要针对每个任务重新训练嵌入函数
  • 一个不需要重新训练，但没有利用到新任务的特定知识
• 因此就有一种趋势，即将两种模型结合起来。混合嵌入模型通过$D_{train}$中的特定于任务的信息来适应从先验知识中学到的通用任务不变嵌入模型，这是通过学习将$D_{train}$提取的信息作为$g(.)$的输入并返回一个嵌入作为$f(.)$的参数
  

4.3 Learning with External Memory

原理：

• 从$D_{train}$中提取信息，并将其存储到外部存储器中（external memory）
• 每个新样本$x_{test}$由内存中提取的内容的加权平均值表示——这就限制了$x_{test}$只能由内存中的内容来表示，从本质上减小了假设空间$H$的大小
• 外部存储器通常使用键值(key-value)存储器。令存储器为$M\in R^{b\times m}$，即有$b$个存储插槽$M(i)\in R^m$，而$M(i)=(M_{key}(i),M_{value}(i))$

具体过程：

• 首先通过嵌入函数$f(.)$嵌入测试样本$x_{test}$得到$f(x_{test})$
• 利用相似度函数$s(.)$来计算$f(x_{test})$与每个键$M_{key}(i)$的相似度，得到$s(f(x_{test}),M_{key}(i))$，以查询最相似的内存插槽们，将其组合（加权平均）作为$x_{test}$的表示【The values of the most similar memory slots ($M_{value}(i)’s$) are extracted and combined to form the representation of $x_{test}$】
• 然后将这个表示送入到分类器中进行预测
  

注： 由于操纵M的成本很高，因此M通常尺寸较小。当M未满时，可以将新样本写入空闲的存储插槽；当M已满时，必须决定要更换的内存插槽

---

由于每个$x_{test}$表示为从内存中提取的值的加权平均值，因此内存中的键值对的质量很重要。 根据存储器的功能,可以分为以下两类：

• $RefiningRepresentations$：要求小心地将$D_{train}$放入到内存中，使得存储地键值对可以精准地表示$x_{test}$
  • Memory-augmented Neural Networks (MANN)：元学习嵌入函数$f(.)$，将同类的样本映射到同一个值——之后，同一类的样本在内存中可以一起细化它们的类表示【$ProtoNet$】
  • surprise-based memory module：当$M$不能很好地表征一个$x_i$时才去更新它——使$M$更具有表征能力，并降低计算成本
  • abstract memory：从包含大型机器注释数据集的固定存储器中提取相关的键值对，当进行$few-shot$（图像，视频）分类时，从中选取有用的数据并写入到另一个存储器中
  • lifelong memory：考虑到小样本类很小，被保存在存储器中的可能性很低，并且来自小样本的样本也可能被来自丰富类的样本所替代——想要能够保存一个新的从未见过的样本
    • 网络将其写入内存，并能够在之后使用它，该网络在内存占满时不会直接清空内存而是删除最旧的槽，然后将所有存储器插槽的使用期限重置为零
    • 对于一个新样本，当一个槽的值与其实际输出值（ground-truth output）相匹配，则会与当前槽的键合并，不写入内存【建议看键值对设置的内容是什么】
• $RefiningParameters$:
  • Meta Networks: 通过一个从多个数据集元学习得到的"slow"权重和一个作为$D_{train}$的task-specific embedding的"fast"权重来参数化分类模型
  • MN-Net：使用存储器来细化Matching Nets中学习到的embeding，其结果用来参数化模型

---

4.4 Generative Modeling

基本原理： 借助先验知识从观测到的$x_i$估计其概率分布$p(x)$，对其的估计通常涉及对$p(x|y)$和$p(y)$的估计

应用： 生成generation,回归recognition,重建reconstruction,图像翻转image flipping

具体原理：

• 被观测的$x$应该服从一些分布$p(x;\theta )$
• 存在隐变量(latent variable) $z$~$p(z;\gamma )$，那么 $x$~$\int p(x|z;\theta )p(z;\gamma )dz$——x通过隐变量计算得到
• $p(z;\gamma )$是一个先验分布，从其他数据集学习得到——先验知识
• 有了先验知识，后验概率分布【x的分布】就得到了约束，假设空间被约束到更小的空间
  
  根据隐变量$z$的表征内容，可以将$FSL$生成模型分成以下三类：$DecomposableComponents$，$GroupwiseSharedPrior$，$ParametersofInferenceNetworks$

4.4.1 Decomposable Components

• 在$FSL$问题上，虽然样本确实少，但存在这些样本与来自其他任务的样本共享一些较小的可分解组件。如一张脸上的可分解小组件是眼睛、鼻子、嘴等
• 可以通过大量的样本，让模型学习这些可分解小组件，然后模型识别小组件再组合，就能确定属于哪个目标类
• 由于可分解的组件是由人选择的，因此该策略更具有可解释性

4.4.2 Groupwise Shared Prior

• 一般来说，相似的任务具有相似的先验概率，这可以用于$FSL$，如考虑“橙猫”、“豹子”和“孟加拉虎”的三级分类。这三个物种很相似，但孟加拉虎濒临灭绝，而橙猫和豹子数量很多。因此，我们可以从“橙猫”和“豹子”中学习先验分布，并将其用作“孟加拉虎”类的先验概率，然年就可以推测当前样本的概率分布并分类

4.4.3 Parameters of Inference Networks

• 为了找到最好的$\theta$，需要最大化后验：
  $$p(z|x;\theta ,\gamma )=\frac{p(x,z;\theta ,\gamma )}{p(x;\gamma )}=\frac{p(x|z;\theta )p(z;\gamma )}{\int p(x|z;\gamma )p(z;\gamma )dz}$$

• 但由于分母中有几分，所以求解很困难，所以一般由从数据集中学到的变分分布（variational distribution）$q(z;\delta )$来逼近$p(z|x;\theta ,\gamma )$

• 目前，$q(z;\delta )$是通过使用推理网络进行分期的变分推理来估计的

• 推理网络具有大量的参数，通常使用一些辅助的大规模数据集进行训练——许多经典的推理网络都适用于$FSL$问题

4.5 Discussion and Summary

• 当存在类似的任务或辅助任务时，可以使用多任务学习来约束少量样本任务的
  • 由于需要同时训练所有任务，因此当一个新的少量样本任务出现时，整个多任务模型必须再次训练，这可能既昂贵又缓慢
  • 此外，$D$和$D_c$和的大小不应具有可比性，否则，少量样本的任务可能会被具有许多样本的任务淹没。
• 如果存在一个包含足够数量的各种类别样本的大规模数据集，则可以使用嵌入学习方法
  • 通过将样本映射到良好的嵌入空间，在其中可以很好地分离来自不同类别的样本，因此需要较小的$H$
  • 但当少量样本任务与其他任务没有密切关系时，可能无法正常工作
  • 此外，更多有关如何混合任务的不变和特定于任务的信息的探索是有帮助的。
• 当有可用的存储网络时，可以通过简单训练将其轻松用于FSL
• 当除了FSL之外还想要执行诸如生成和重构之类的任务时，可以使用生成模型
  • 生成建模方法具有较高的推理成本，比确定性模型更难得到

5 ALGORITHM

目的：

• 在假设空间$H$内搜索最佳假设（期望假设）的参数 $\theta$
• 在第$t$次迭代时，${\theta }_t={\theta }_{t-1}+\Delta {\theta }_{t-1}$，$\Delta {\theta }_{t-1}$是更新的参数
• 在$FSL$问题上，由于$D_{train}$不足够大，无法通过训练来更新 $\theta$
• 可以通过先验知识 （prior knowledge）来影响$\theta$的获得
• 也可以通过提供一个好的初始化参数${\theta }_0$或直接学习一个优化器来获得更新步长（search step）

根据先验知识如何影响搜索策略，可以将算法分成以下三类：$Refiningexistingparameters$，$Refiningmeta-learnedparameters$,$Learningtheoptimizer$

5.1 Refining Existing Parameters

pretrained + fine-tuning

基本原理：

• 初始${\theta }_0$是从其他任务中学到的，然后使用$D_{train}$对其进行优化
• 假设${\theta }_0$捕获了大规模数据的一些一般结构,因此，可以通过几次迭代将其适应于$D_{train}$

5.1.1 Fine-tuning Existing Parameter by Regularization

基本目的： 使用正则化（Regularization）对预训练的${\theta }_0$进行微调（fine-tune）
关键点： 针对小样本的$D_{train}$，简单地通过梯度下降（gradient descent）对${\theta }_0$进行微调，可能会导致过拟合。因此如何保证${\theta }_0$在不过拟合的情况下适应$D_{train}$是设计关键点

• $Early-stopping$: 从$D_{train}$中分离一个验证集来监视训练过程，当验证集的性能没有改善时，学习就会停止
• $Selectivelyupdating{\theta }_0$:只更新${\theta }_0$的一部分
• $Updatingrelatedpartsof{\theta }_{0}together$:可以将${\theta }_0$的元素（如深层神经网络中的神经元）分组，并使用相同的更新信息共同更新每个组
• $Usingamodelregressionnetwork$:捕获与任务无关的转换，该转换将通过对少量样本进行训练而获得的参数值映射到将对大量样本进行训练而获得的参数值

5.1.2 Aggregating a Set of Parameters

基本目的： 有时，我们没有合适的初始${\theta }_0$，但我们有许多模型是从相关任务中学到的（如在面部识别中，可能已经具有针对眼睛，鼻子和耳朵的识别模型）， 因此，可以将这些模型参数汇总为合适的模型，然后直接使用它或使用$D_{train}$对其进行微调

利用在未标记的数据集或相似数据集上预训练的模型来适应$D_{train}$：

• $Unlabeleddataset$: 尽管没有监督信息，但是可以将相似的样本分组在一起。因此，可以从未标记的数据中预训练功能，以很好地聚类和分离样本
• $Similardatasets$: 使用先验知识（对相似样本的学习）来促进对新类的学习。从一样本中提取对已学相似类有用的特征信息，并用这些特征替换相似类中的特征，然后将学习的分类器重新使用，并且仅针对新类调整分类阈值

5.1.3 Fine-Tuning Existing Parameter with New Parameters

基本目的： 预训练的${\theta }_0$可能不足以完全编码新的FSL任务。因此，使用一个附加参数$\delta$来考虑$D_{train}$的特殊性

基本原理： 该策略将模型参数扩展为 θ = { θ 0 , δ } \theta= \lbrace \theta_{0}, \delta \rbrace θ={θ0​,δ}，并在学习$\delta$的同时微调${\theta }_0$

5.2 Refining Meta-learned Parameter

基本原理： 初始${\theta }_0$是从一组与小样本任务分布相同的任务中元学习的，然后由学习器使用$D_{train}$对其进行微调【MAML】

5.3 Learning the Optimizer

基本原理： 5.2 中的方法需要使用梯度下降——需要调整步长$\alpha$或找到搜索方向，但也可以直接学习一个优化器，由学习算法会自动完成上述工作，这样可以直接输出更新后的参数

5.4 Discussion and Summary

• 第一种策略是改进现有的参数可以有效减小的假设空间大小，同时降低了计算开销，但参数是从不同于当前任务的任务中学习的，这种策略可能会为了速度而牺牲精度
• 剩下的两种策略依赖元学习。然而，诸如如何跨不同粒度(如动物的粗粒度分类与犬种的细粒度分类)或不同数据源(如图像与文本)的元学习等重要问题仍然是问题。从这个角度来看，元学习和多任务是相似的，所以如何避免负迁移也是一个问题

6 FUTURE WORKS

6.1 Problem Setups

• 目前的FSL方法通常使用来自单一模态（图像，文本或视频）的先验知识。但实际任务中，有可能你这个模态的样本很少，但另一个模态下的样本却很充足。例如灭绝的动物，也许这种动物只有很少的视觉样本，但它可能存在大量的文本样本。因此，多模态下考虑FSL任务是很有价值的
• 事实上，在ZSL（zero-shot learning）中，多模态是一种很常用的方法，现在已经有不少研究者在考虑将ZSL方法迁移到FSL中，在未来，一个有希望的方向就是**考虑使用多模态信息来设计FSL方法

6.2 Techniques

• 基于元学习的FSL方法特别有趣。元学习通过跨任务学习，可以以很小的推理代价快速适应新任务。但是目前的元学习通常考虑从相关联的任务中提取信息，实际上，很多任务是否关联是完全未知或难以决定的（代价高昂）
• 目前的FSL方法往往考虑静态和固定的任务。然而，在流媒体应用中，任务是动态的，新的任务不断地到达。一个重要的问题是如何避免在动态设置中的灾难性遗忘，这意味着旧任务的信息不应该被遗忘
• 假设空间和搜索策略通常都依赖于人的设计。自动化机器学习(AutoML)通过构建任务感知的机器学习模型，在许多应用中取得了最先进的水平，所以另一个方向是将自动化特征工程、模型选择和神经结构搜索的自动化方法扩展到FSL