关于小样本学习综述论文的总结

摘 要:

小样本学习旨在通过少量样本学习到解决问题的模型,近年来,在大数据训练模型的趋势下。机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以。如何用少量样本进行学习就成为目前人们需要关注的问题。系统地梳理了当前小样本学习的相关工作,具体来说介绍了基于模型微调、基于数据增强和基于迁移学习这3大类小样本学习模型与算法的研究进展:将基于数据增强的方法细分为基于无标签数据、基于数据合成和基干特征增强这3类.将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络这了类:总结了目前常用的小样本数据集和代表性的小样本学习模型在这些数据集上的实验结果:随后对小样本学习的现状和挑战进行了概述;最后展望了小样本学习的未来发展方向。

本篇文章内容主要分为了如下几个方面：

基于模型微调：是在含有大量数据的源数据集上训练一个分类模型,然后在含有少量数据的目标数据集上对模型进行微调，但是会导致模型过拟合,因为少量数据并不能很好地反映大量数据的真实分布情况。

因此引出了解决过拟合的方法：基于迁移学习和基于数据增强。

基于迁移学习：是目前比较前沿的方法,是指将已经学会的知识迁移到一个新的领域中。

根据学习框架不同分为如下图：

基于数据增强：是利用辅助数据集或者辅助信息 增强目标数据集中样本的特征或扩充对目标数据集,使模型能更好地提取特征。

根据学习方法不同分为如下图：

本文首先从基于模型微调、基于数据增强和基于迁移学习这3种方法介绍小样本学习的研究进展,总结小 样本学习的几个著名数据集以及已有模型在这些数据集上的实验结果;接下来,本文对小样本学习的研究现状 和主要挑战进行总结;最后展望了未来的发展趋势。

下面简单列举一下每块的应用介绍：

1. 基于模型微调的小样本学习

方法介绍：通常在大规模数据上预训练模型,在目标小样 本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调,得到微调后的模型.若目标数据集和源数 据集分布较类似,可采用模型微调的方法。

1.1 通用微调语言模型(universal language model fine-tuning,简称ULMFit)

此方 法使用了语言模型而非深度神经网络，一共分为三个阶段如下所示：

创新点在于改变学习速率来微调语言模型，主要体现在以下两个方面：

1.2 另一种微调方法

但是在真实场景中,目标数据集和源数据集往往并不类似,采用模型微调的方 法会导致模型在目标数据集上过拟合.为解决模型在目标数据集上过拟合的问题,两种解决思路被提出:基于数据增强和基于迁移学习的方法.

2 基于数据增强的小样本学习

小样本学习的根本问题在于样本量过少,从而导致样本多样性变低.在数据量有限的情况下,可以通过数据 增强(data augmentation) 来提高样本多样性.数据增强指借助辅助数据或辅助信息,对原有的小样本数据集进 行数据扩充或特征增强

2.1基于无标签数据的方法

基于无标签数据的方法是指利用无标签数据对小样本数据集进行扩充，常见的方法如下所示：

2.1.1 半监督学习

2.1.1.1 wang等人提出的

在半监督学习的思想下,同时受到CNN可迁移性的启发,提出利用一个附加 的无监督元训练阶段,让多个顶层单元接触真实世界中大量的无标注数据.通过鼓励这些单元学习无标注数据 中低密度分离器的diverse sets,捕获一个更通用的、更丰富的对视觉世界的描述,将这些单元从与特定的类别集 的联系中解耦出来(也就是不仅仅能表示特定的数据集).作者提出了一个无监督的margin最大化函数来联合估 计高密度区域的影响并推测低密度分离器.低密度分离器(LDS)模块可以插入任何标准的CNN架构的顶层。

2.1.1.2 Boney等人提出

提出使用MAML[ 11]模型来进行半监督学习,利用无标签数据调整嵌入函数的参 数,用带标签数据调整分类器的参数。

2.1.1.3 Ren等人提出

在原型网络的基础上进行改进,加入了无标注数据,取得了更高的准确率。

2.1.2 直推式学习

直推式学习可看作半监督学习的子问题.直推式学习假设未标注数据是测试数据,目的是在这些未标记数 据上取得最佳泛化能力。

2.1.2.1 Liu等人提出

使用直推式学习的方法提出了转导传播网络(transductive propagation network)来解决小样本问题，转导传播网络分为4个阶段:特征嵌入、图构建、标签传播和损失计算。

2.1.2.2 Hou等人提出

提出了一个交叉注意力网络(cross attention network),基于直推式学习的思想,利用注意 力机制为每对类特征和查询生成交叉注意映射对特征进行采样,突出目标对象区域,使提取的特征更具鉴别性. 其次,提出了一种转换推理算法,为了缓解数据量过少的问题,迭代地利用未标记的查询集以增加支持集,从而 使类别特性更具代表性

2.2基于数据合成的方法

基于数据合成的方法是指为小样本类别合成新的带标签数据来扩充训练数据,常用的算法有生成对抗网 络(generative adversarial net)等。

2.2.1 Mehrotra等人提出

将GAN应用到小样本学习中,提出了生成对抗残差成对网 络(generative adversarial residual pairwise network)来解决单样本学习问题.算法使用基于GAN的生成器网络对 不可见的数据分布提供有效的正则表示,用残差成对网络作为判别器来度量成对样本的相似性。

生成对抗残差成对网络示意图

2.2.2 Hariharan等人提出

提出了一种新的方法,该方法分为两个阶段:表示学习阶 段和小样本学习阶段。

小样本学习阶段是指在少量数据的新类别中微调模型,在此阶段中,本文提出了生成新数据的方法来 为小样本类别进行数据增强。

作者认为,属于同一类别的两个样本之间存在着一个转换.那么给定新类别的一个样本x,通过这个转换,生 成器G可以生成属于该类别的新样本

2.2.3 Wang等人提出

将元学习与数据生成相结合,提出了通过数据生成模型生成虚拟数据来扩充样本的多样性, 并结合当前比较先进的元学习方法,通过端到端方法共同训练生成模型和分类算法.通过让现有图像的一些属 性和特征发生变化,如拍照姿态改变、光照改变、位置迁移等,迁移到新的样本上,从而生成具有不同变化的新 样本图像,实现数据的扩充.此外,本模型可以套用任何元学习模型,具有灵活性。

2.2.4 Xian等人提出

但是现有的数据生成方法具有以下缺点:(1) 没有捕捉到复杂的数据分布;(2) 不能泛化到小样本的类别; (3) 生成的特征不具有可解释性

为解决上述问题,将变分编码器(VAE)和GAN进行结合,充分利用 了两者的优势集成了一个新的网络f-VAEGAN-D2.这个网络再完成小样本学习图像分类的同时,能够将生成样 本的特征空间通过自然语言的形式表现出来,具有可解释性

2.2.5 Chen等人继续研究

提出可以利用元学习 对训练集的图像对支持集进行插值,形成扩充的支持集集合:首先,从元训练集的集合中每一类随机选择几个样 本,形成集合G;其次,针对某个任务提取支持集的特征,形成最近邻分类器,对集合G中的所有图像分类,找到概 率最高的N个图像;将对应的图像加权得到扩充的图像,图像标签与原图像保持一致;最后,用扩充的支持集与查 询样本计算分类损失,用来优化权重生成子网络。

2.3 基于特征增强的方法

以上两种方法都是利用辅助数据来增强样本空间,除此之外,还可通过增强样本特征空间来提高样本的多 样性,因为小样本学习的一个关键是如何得到一个泛化性好的特征提取器

2.3.1 Dixit等人提出了AGA

因为小样本学习的一个关键是如何得到一个泛化性好的特征提取器.Dixit等人提出AGA(attributed- guided augmentation)模型学习合成数据的映射,使样本的属性处于期望的值或强度.然而,将基于合成数据的网 络应用到真实图像中具有迁移学习的问题,但之前的方法都不适用于具有姿态物体的迁移。

2.3.2 Liu等人提出特征迁移网络（FARREN）

由于AGA是一个解决方 法,但是它的轨迹是离散的,不能连续.所以基于此,Liu等人[ 60]提出了特征迁移网络(FATTEN),用于描述物体姿 态变化引起的运动轨迹变化.与其他特征提取不同的是,该方法对物品的外观和姿态分别有一个预测器.网络包 括一个编码器和一个解码器,编码器将CNN对目标图像的特征x映射为一对外观A(x)和姿态P(x)参数,然后, 解码器需要这些参数产生相应的特征向量x。

2.3.3 Schwartz等人提出了Delta编码器

通过看到少量样本来为不可见的类别合成新样本,将合成样本 用于训练分类器.该模型既能提取同类训练样本之间可转移的类内变形,也能将这些增量应用到新类别的小样 本中,以便有效地合成新类样本

2.3.4 Chen等人提出了一个双向网络TriNet

由于上面方法的特征增强过于简单,无法显著改善分类边界，为解决这个问题提出了一个双向网络TriNet

图像的每个类别在语义空间中具有更丰富的特征,所以通过 标签语义空间和图像特征空间的相互映射,可以对图像的特征进行增强.该模型用一个4层卷积神经网络 ResNet-18提取图像的视觉特征,再通过TriNet的编码器将视觉特征映射到语义空间,在语义空间中进行数据增 强;之后,通过TriNet的解码器将增强后的语义特征映射回图像的特征空间.例如,shark这个类别在语义空间中 与已知的一些类别fish,whale_shark和halobios距离较近,即代表它们的语义相似,TriNet可借用这些邻近类别 的特征来调整网络中用于特征提取的参数,帮助模型更好地提取图像特征

2.3.5 固定的注意力机制换成不确定的注意力机制

但是在上面的方法中,分类网络通常提取的特征只关注最具有判别性的区域,而忽略了其他判别性较弱的 区域,不利于网络的泛化。

输入的图像经提取特征后进行平均池化,分类得到交叉熵损失l.用l对M求梯度,得到使l最大的更新 方向从而更新M.其次,将提取的特征与更新后的M相乘,得到对抗特征,得到分类损失l1;将初始特征再经过多 个卷积,得到一维特征对其分类,得到分类损失l2.这两个分类器共享参数,从而使得高层特征对底层特征具有一 定的指导作用,从而优化网络

2.3.6 基于增强的小样本学习模型的总结与未来的两个改进方向

1、更好地利用无标注数据.由于真实世界中存在着大量的无标注数据,不利用这些数据会损失很多信息,更好、更合理地使用无标注数据,是一个非常重要的改进方向。

2、更好地利用辅助特征.小样本学习中,由于样本量过少导致特征多样性降低.为提高特征多样性,可利 用辅助数据集或者辅助属性进行特征增强,从而帮助模型更好地提取特征来提升分类的准确率。

3 基于迁移学习的小样本学习

迁移学习是指利用旧知识来学习新知识,主要目标是将已经学会的知识很快地迁移到一个新的领域中。在迁移学习中数据集主要分为如下图所示：

基于迁移学习思想：提出了回归网络(regression network)来解决小样本问题.他们认为:一个由少量样本 训练的模型和一个由大量样本训练的模型之间存在一个通用的忽略类别的转换T,这个转换T由回归网络学习 得到通过T的转换,可以把由小样本训练得到的效果不佳的模型,映射为由大量样本训练得到的效果较好的模 型.两个模型的转换实质上是模型参数的映射,即,将一个模型的权重映射到另一个模型。

问题：源网络中的某 一层迁移到目标网络中的某一层是人工给定的,并且是将所有的特征映射都迁移,没有考虑迁移到哪里和迁移多少的问题。

Jang等人专注于迁移学习中迁移什么(what)和迁移到哪里(where)的问题，提出利用元学习来学 习迁移特征映射的权重和迁移层的权重来解决这个问题,同时提出了一步学习的策略,只用一步来适应目标数 据集.该方法同时在小样本数据集上进行了实验,但是效果提升没有大规模数据集多。

3.1 基于度量学习的方法

在数学概念中,度量指衡量两个元素之间距离的函数,也叫做距离函数。度量学习也称为相似度学习,是指通过给定的距离函数计算两个样本之间的距离,从而度量它们的相似度。

将度量学习的框架应用到小样本学习上,顾名思义,就是通 过计算待分类样本和已知分类样本之间的距离,找到邻近类别来确定待分类样本的分类结果。

基于度量学习的模型通用流程图

3.1.1 Koch 等人提出使用孪生神经网络(siamese neural network)进行单样本图像识别

孪生神经网络是一种相似性度量模型,当类别数多但每个类别的样本数量少的情况下,可用于类别的识别.孪生神经网 络从数据中学习度量,进而利用学习到的度量比较和匹配未知类别的样本,两个孪生神经网络共享一套参数和权重。

核心思想：通过嵌入函数将输入映射到目标空间,使用简单的距离函数进行相似度计算。孪生神经网络在训练阶段最小化一对相同类别样本的损失,最大化一对不同类别样本的损失.该模型使用两个CNN提取输 入图像的特征,将图像映射成向量.输入是一对样本而不是单个样本,同一类样本标签为1,不同类为0;然后,通过 交叉熵函数计算损失.对于单样本学习,训练集中每个类别只有一个样本,所以测试集中的每张图像和训练集中 的每个样本都组成一个样本对,依次输入到孪生神经网络中,得到每对样本的距离.选取距离最小的训练样本的 标签作为测试样本的类别,从而完成分类。

3.1.2 Vinyals等人提出了匹配网络(matching network)

该网 络可将带标签的小样本数据和不带标签的样本映射到对应的标签上.针对单样本学习问题,该模型使用LSTM 将样本映射到低维向量空间中,新样本与每个带标签样本计算相似度,使用核密度估计函数(kernel density estimation)输出预测标签.核密度估计函数专注于从数据样本本身出发来研究数据的分布特征,是在概率论中 用来估计未知的密度函数,属于非参数检验方法。

3.1.3 Jiang等人基于匹配网络的思想

将嵌入函数改进为4层的卷积神经网络,分别采用双向LSTM和基于注 意力机制的LSTM算法深入提取训练样本和测试样本中更加关键和有用的特征并进行编码;最后,在平方欧氏 距离上利用softmax非线性分类器对测试样本分类.实验结果表明,改进的匹配网络在类别数更多而样本数较少 的复杂场景下具有更好的分类效果。

3.1.4 Wang等人提出了多注意力网络模型(multi-attention network)

提出的目的：在基于度量学习的单样本图像分类方面,上述方法都是从图像本身特征出发,没有考虑到分类标签这一信息。

认为需要将图像的分类标签纳入考虑,并提出了多注意力网络模型(multi-attention network).该 模型使用GloVe Embedding将图像的标签嵌入到向量空间,通过构建标签语义特征和图像特征之间的注意力机 制,得到一张图像属于该标签的特征主要集中于哪一个部分(单注意力)或哪几个部分(多注意力),利用注意力机 制更新该图像的向量,最后通过距离函数计算相似度得到分类结果。

3.1.5 Snell等人提出了原型网络(prototypical network)

作者认为,每个类别在向量空间中都存在一个 原型(prototype),也称作类别中心点.原型网络使用深度神经网络将图像映射成向量,对于同属一个类别的样本, 求得这一类样本向量的平均值作为该类别的原型.通过不断训练模型和最小化损失函数,使得同一类别内的样 本距离更为靠近,不同类别的样本更为远离,从而更新嵌入函数的参数。

3.1.6 Ren等人在原型网络的基础上进行扩展

原型网络的思想和实现方法都十分简单明晰,但效果与之前的工作相比得到了一定的提升.但是仅仅使用 标注数据得到的结果不一定是准确的,因为样本量太少会导致分类边界偏差.针对这个不足之处而提出。

使用了半监督学习的思想,在训练集中加入了不带标签的数据来改善分 类边界.实验证明:无标签数据的加入,提高了分类效果.原因在于:原型网络只使用带标签数据进行原型的计算, 但是带标签数据数量较少导致了类别中心的计算不准确;而改进的网络加入了无标签数据之后,对类别的原型 进行了修正,使得待分类样本能够得到正确的分类。

3.1.7 Gao等人提出了基于人工注意力的原型网络

作者认为:一个样本离原型越远,它就越容易被掩盖.但是上面的网络在计算时均没有考虑样本的权重,只 是做了一个简单的平均数计算.在很多情况下,用来计算原型的样本的重要程度是不同的,尤其当样本是噪声数 据的时候,体现的更为明显.受到这个问题的驱动。

相比于传统的 原型网络,该模型多了两个部件:样本级别的注意力机制和特征级别的注意力机制,来分别捕捉对分类更重要的 样本和特征.作者分别用含有0%,10%,30%和50%的噪声数据集进行了效果评测,均比baseline取得了更好的效 果;并且噪声越多,提升效果越好.说明该模型具有很好的鲁棒性。

3.1.8 Sun等人也为解决这个问题提出了层次注意 力原型网络(HAPN)

比起传统的原型网络添加了特征级别、词语级别和样本级别的3种注意力机制.词语级别 的注意力机制是文本分类中常用的方法,在这里不再赘述.基于人工注意力的原型网络和层次注意力原型网络 均添加了样本级别和特征级别的注意力机制,表明不同的样本和特征对于分类任务的重要性确实不同,只做简 单的平均计算是远远不够的,需要对样本的特征进行加权处理。

3.1.9 Sung等人提出 了一个新的模型——关系网络(relation network,简称RN)

上述模型都是基于距离函数来计算相似度,这样虽然简单易操作,但有时候距离函数却并不适用于一些特 定的任务.针对这个问题,一些研究人员提出可以使用深度神经网络来进行度量。

该模型分为两个模块:嵌入模块和关系模块.其中,嵌 入模块f是一个4层的卷积神经网络,用来学习样本到低维向量空间的嵌入;关系模块g是一个相似度比较模块, 使用ReLU来进行相似度计算,用来输出两个样本的相似度得分。

3.1.10 Zhang等人提出了深度比较网络(deep comparison network,简称DCN)

在关系网络的基础上,Zhang等人提出了深度比较网络(deep comparison network,简称DCN),将嵌入学习 分解为一系列模块,并将每个模块与一个关系模块配对.关系模块利用相应嵌入模块的表示计算一个非线性度 量对匹配进行打分.为了保证所有嵌入模块的特征都被使用,关系模块被深度监控.最后,通过学习噪声调节器 进一步提高泛化性。

3.1.11 Hilliard等人也使用了一种新的体系结构

抛弃了传统的度量学习方法,通过训练一个网 络来执行类别之间的比较,而不是依赖于静态度量比较.该网络可以决定一个类的哪些方面对于分类比较重要, 从而更好地区分类别边界。

3.1.12 Li等人提出了一个协方差度量网络(CovaMNet)

之前的方法注意力集中在一阶统计量的概念表示上,Li等人提出了一个协方差度量网络(CovaMNet),在 基于小样本分类任务的分布一致性上,利用了协方差表示和协方差矩阵,其中,协方差表示用来捕获二阶统计信 息,协方差矩阵用来衡量query样本与新类别之间的分布一致性.但由于现有的方法忽略了局部特征的信息,为 了捕捉局部特征.

3.1.13 Li等人又提出了深度最近邻神经网络(DN4)

与其他方法的最大不同是:在最后一层用图像 到类别的局部描述符来代替图像级别的特征测量,查询样本在进行特征映射时,为每个空间特征计算一个相似 性.针对一个查询样本特征映射的每个空间特征,找到支持特征映射中最相近的K个特征来计算相似性,最后将 所有位置相似性加和,得到此查询样本的相似性。

3.1.14 Li等人提出可以利用模型整合支持集中所有图像的信息

但是上面的方法是针对每个任务提取不同的特征,仍旧忽略了支持集中所有图像之间的语义关系.受到这 个想法的驱动,Li等人提出可以利用模型整合支持集中所有图像的信息,从而找到最具有判别性的特征.

• 首先,根据支持集得到一个channel attention;随后,对所有的图像应用channel attention,对于支持集中的 图像提取特征,经过一个卷积层求得原型;将所有类连接,得到一个特征;再经过卷积,得到一个channel attention

• 其次,将支持集特征和查询样本特征经过一个卷积层,与上述得到的attention相乘,得到更具有判别性 的特征

• 最后,对于更新后的特征做度量学习

3.1.15 基于度量学习总结

基于度量学习的方法经历了从解决单样本问题到解决小样本问题再到同时解决 小样本问题和零样本问题的变革,模型逐渐趋近于成熟;同时,也经历了从基于传统距离函数的方法到基于深度 网络的方法的改进.继续采用基于传统距离函数的方法很难在小样本分类准确率方面得到较大的提升,所以加 强对基于神经网络进行度量方法的研究,将是今后重点关注的方向。

3.2 基于元学习的方法

元学习(meta-learning)也叫做学会学习(learning to learn),是机器学习领域一个前沿的研究框架,针对于 解决模型如何学习的问题.元学习的目的是让模型获得一种学习能力,这种学习能力可以让模型自动学习到一 些元知识.元知识指在模型训练过程之外可以学习到的知识,比如模型的超参数、神经网络的初始参数、神经 网络的结构和优化器等.在小样本学习中,元学习具体指从大量的先验任务中学习到元知识,利用以往的先验 知识来指导模型在新任务(即小样本任务)中更快地学习.元学习中的数据集通常分为元训练集和元测试集,二者均包含了原始模型所需要的训练集和测试集.分类模型的数据集包括训练集和测试集;元学习模 型的数据集包括元训练集和元测试集,其中,元训练集和元测试集均包含训练集和测试集

3.2.1 Santoro等人在2016年提出了基于记忆增强的神经网络(memory-augmented neural networks,简称MANN)

目的解决单样本学 习问题.作者使用了神经图灵机(neural Turing machine,简称NTM)作为MANN的基本模型,因为NTM作为一 种可微的MANN,可以直接通过梯度下降进行训练.神经图灵机既可以通过缓慢权重更新来实现长期存储,又能 够通过记忆库实现短期存储,这与元学习的思想完全一致.作者致力于让神经图灵机学习到一种策略,这个策略 可以指导NTM将样本类型放入到记忆库中,同时指导它今后如何通过这些类型进行预测或者分类

3.2.2 在2017年,Munkhdalai等人继续采用元学习的框架来解决单样本分类的问题,并提 出了一个新的模型——元网络(meta network)

元网络主要分为两个部分:base-learner和meta-learner,还有一个 额外的记忆块,这个记忆块可以帮助模型快速学习。

Base-learner在任务空间中学习,meta-learner在抽象的元空间中持续学习并且从不同的任务中获取元知识. 当新任务到来时,base-learner对当前任务进行分析,并将元信息反馈给meta-learner;Meta-learner收到元信息之 后,根据元信息对自身和base-learner快速参数化.具体来说,元网络分为一个缓慢权重化的过程和一个快速权重 化的过程,在学习不同任务之间的泛化信息时权重更新缓慢,而当对一个新任务快速适应时,则需要快速权 重化。

3.2.3 Finn等人在2017年提出了未知模型的元学习方法(model-agnostic meta- learning,简称MAML)

虽然上面两个工作已经将元学习的框架带进了小样本学习中,但是它们解决的都是单样本问题.为了使模 型更加适用到小样本分类问题上。

使用这个模型,从很少的数据中进行少步数的训练,就可以得到较好的分类效果.MAML 首先使用RNN从所有任务的分布中来学习知识,而不是仅仅学习单一任务.MAML致力于找到神经网络中对 每个任务较为敏感的参数,通过微调这些参数,让模型的损失函数快速收敛.模型的初始参数为θ,针对不同的任务分别计算损失,根据每个任务的损失更新对应的模型参数.MAML的目标是求得初始化参数θ,使得模型在面 对新任务时,能够使用梯度下降的方法在很少的步数内得到收敛.为了避免元学习器的偏移,并且提高元学习器 的泛化性

3.2.4 Jamal等人提出了算法未知任务元学习法(task-agnostic meta-learning,简称TAML)

在这项工作中, 为了避免元学习模型对训练任务过拟合,作者在输出预测时加入了一个正则化项.正则化要么会使预测具有更 高的熵(即预测的概率不会看起来像一个独热矢量),要么使模型在不同任务之间的差异更小(即,在不同任务上 表现相同).显然,对于小样本学习来说,有一个强大的正则化机制是十分重要的.本文作者在MAML的基础上测 试了该方法,得到了更优的性能。

3.2.5 Xiang等人提出了基于注意力机制的未知任务元学习法(attentive task-agnostic meta-learner,简称ATAML)

在2018年将MAML迁移到了文本领域,并且在方法中加入了 注意力机制,在 文本分类中,不同的词对于分类的重要程度不同.例如,对书的评论进行情感分析的任务中,“我觉得这本书十分 有趣”中的“有趣”,对于将这条评论判定为正面情感起着更重要的作用.注意力机制可以将文本中的词语赋予不 同的权重,使得对分类起着更重要作用的词语能够有更高的影响力.ATAML主要分为两个部分:一是忽略任务 的表示学习,二是面向任务的注意力学习

3.2.6 Sun等人提出:可以让MAML只学习最后一层作为分类器

但是MAML存在着一些缺点:一是训练时需要数量足够多的任务才可以收敛;二是这种方法一般只适用于 浅层网络,在深层网络中泛化性较差,容易过拟合

可以让MAML只学习最后一层作为分类器, 用所有训练数据预训练一个特征提取器,固定特征提取器.该算法利用了MAML的思想,随机初始化分类器W 的参数;然后针对每个任务,利用支持集来优化W,得到更新后的W;计算查询集的损失,梯度更新W,以得到新的 W。

Liu等人也在MAML上做了一些改进,他们认为:对于一个元学习的任务,超参数的设置是十分重要的.可 以利用元学习对网络中每一层学习一个超参数,并且在通常情况下,一个分类器具有不稳定性,可以在MAML 的机制上学习如何融合多个分类器:首先,MAML内循坏更新初始参数多次,得到多个分类器;其次,在MAML外 循环优化分类器的初始参数、超参数和多个分类器融合系数.其中,测试集上的预测类别为多个分类器预测值 加权求和,利用测试集的损失函数更新上述参数。

3.2.7 Wang等人[ 94]提出了任务感知特征嵌入网络(TAFE-Net)

为了更好地融入语义信息,这项工作中,标签嵌 入被用来预测数据特征提取模型的权重.该方法通过权重分解,做到只需要预测一个较低维的权重向量,使得权 重预测更加简便.此外,该方法还通过嵌入损失使得语义嵌入和图像嵌入对齐.除此之外,还有很多元学习的方法

3.2.8 Ravi等人在2017年提出了利用优化器的元学习模型进行小样本图像分类

该模型使用基于LSTM 的元学习器学习优化算法,用优化算法的参数更新规则更新分类器的网络参数,使得分类器在小样本数据上能 取得较好的分类效果.同样地,使用上述方法也可以帮助分类器学习到一个较好的初始化参数,使得模型能够在 新的小样本数据集上快速收敛.模型的具体流程如下:首先,元学习器给分类器一个初始化参数θ,将第1个batch 的数据输入分类器进行训练,得到当前的损失和斜率,并将其反馈给元学习器;元学习器根据损失更新模型参 数,将更新后的参数传给分类器.按照这个步骤循环迭代.因为元学习器参数更新和LSTM细胞状态更新的过程 十分相似,所以在此方法中,可以把LSTM细胞单元更新的计算方法应用到元学习器的参数更新中

3.2.9 Gidaris等 人提出了一种方法,该方法包含一个基于注意力机制的权重生成器,同时,在特征表示和类别权重向量之间重 新设计一个CNN作为余弦相似度函数

先使用训练集训练得到特征提取器;然后对于新的小样本数据,通过一 个元学习器来生成对应的参数权重.在含有多个样本时,使用了注意力机制来选择对应的初始权重,而不是做一 个简单的平均

3.2.10 元学习的总结

在上述基于元学习的方法中,元学习器从多个任务中学习知识,但是对于不同的任务学习到的模型初始参 数是相同的,忽略了不同任务之间的差异性.而在现实世界中,不同任务之间千差万别,基于这个前提,Yu等人在2018年提出了多任务聚类的元学习法.该模型对所有任务进行聚类,将不同的任务分成不同的簇,同一簇中 的任务较为相似,它们共享一套分类器参数.当新任务到来时,计算每个簇的分类器在当前小样本数据上的适应 效果,该适应效果由适应参数α表示;随后,当前分类任务的模型参数由所有簇的参数与α线性组合得到;最后输 出分类结果.

通过梳理近年来基于元学习的小样本学习模型,不难看出:随着元学习的兴起,各种元学习方法层出不穷. 元学习方法经历了从单样本学习到小样本学习的转变,同时也从图像领域迁移到了文本领域.元学习方法为小 样本学习带来了很大突破,到今后很长一段时间都将是小样本学习的主流方法.研究人员可以设计新的元学习 器,让分类器在少量样本上学得更快更好

3.3 基于图神经网络的方法

在计算机科学中,图作为一种数据结构,由点和边构成.图这种数据结构,具有表现力强和展示直观的优点. 随着近年来机器学习的兴起,机器学习逐渐被应用到图的分析上.图神经网络是一种基于深度学习的处理图领 域信息的模型,由于其较好的性能和可解释性,它最近已成为一种广泛应用的图分析方法[ 96].图神经网络有很多 种变体,比较常用的有图卷积神经网络(graph convolutional network)、门控图神经网络(gated graph neural network)和图注意力网络(graph attention network)等

3.3.1 Garcia等人在2018年使用图卷积神经网络实现小样本图像分类

在图神经网络里,每一个样本被看作图 中的一个节点,该模型不仅学习每个节点的嵌入向量,还学习每条边的嵌入向量.卷积神经网络将所有样本嵌入 到向量空间中,将样本向量与标签向量连接后输入图神经网络,构建每个节点之间的连边;然后通过图卷积更新 节点向量,再通过节点向量不断更新边的向量,这就构成了一个深度的图神经网络如图5所示,5个不同的节点 输入到GNN中,根据公式A构建边,然后通过图卷积更新节点向量,再根据A更新边,再通过一层图卷积得到最 后的点向量,最后计算概率. 利用公式

上面的方法是对图中的节点进行分类

3.3.2 Kim等人从另一个方面进行考虑,对图中的边进行分类

首先,对 图中的边特征向量进行初始化,边的特征向量有两维:第1维表示相连的两个节点属于同一类的概率,第2维表 示它们不属于同一类的概率.随后,用边的特征向量更新节点向量,边的两维特征分别对应节点的类内特征和类 间特征.经过多次更新后,对边进行二分类,得到两个节点是否属于同一类.为了对传统的GNN进行改进

3.3.3 Gidaris 等人在GNN中加入了降噪自编码器(DAE),以修正小样本类别的权重

DAE理论指出:对于被高斯噪声干扰 的输入,DAE能够估算其输入w的密度的能量函数p(w)的梯度.首先,在进行训练时加入部分的高斯噪声数据来 防止过拟合,样本经过嵌入网络之后,输入到图神经网络中作为节点.根据未加入高斯噪声的各类初始权值向量的余弦相似性,将最近的类连接起来,而图的两个节点之间的边的边缘强度(边的权值)就是两个节点的余弦相 似性的softmax函数值,根据softmax函数输出结果.基于图神经网络的方法相比基于度量学习和基于元学习的 方法较少,但图神经网络可解释性强并且性能较好,可以思考如何对其进行改进,从而提高分类准确率.

4 小样本学习总结与展望

4.1 小样本学习总结

由于真实世界的某些领域中样本量很少或标注样本很少,而样本标注工作会耗费大量时间和人力,近年来, 小样本学习逐渐成为人们重点关注的问题.本文介绍了图像分类和文本分类两个任务中小样本学习的研究进 展,总体上看,小样本图像分类已有了许多性能优异的算法模型,但小样本文本分类仍是个亟待解决的问题

总体来说,小样本学习研究已有很大进展,但和人类分类准确率相比还有很大差距.为了解决基于模型微调 方法带来的过拟合问题,基于数据增强和基于迁移学习的方法被提出.基于数据增强的方法是对小样本数据集 进行数据扩充或特征增强,这种方法可以不对模型进行参数调整,但是容易引入噪声数据.基于迁移学习的方法 是将旧领域学到的知识迁移到新领域,并且不需要两者之间有很强的关联性,但关联性越强,迁移效果越好.在 基于迁移学习的方法中,基于度量学习的方法最简单、容易操作,只需要通过距离来衡量样本之间的相似度,但 是学习到的知识太少.基于元学习比基于度量学习的方法学习能力更强,可以学习到更多知识.基于图神经网络 的方法在3种方法中展示最为直观、可解释性较强,但样本总数变大时,会导致计算复杂度增高

4.2 小样本学习挑战

尽管近年来小样本学习已经得到深入研究,并且取得了一定进展,但仍面临着一些挑战.

(1) 强制的预训练模型

在已有的小样本学习方法中,不管是基于模型微调的方法还是基于迁移学习的方法,都需要在大量的非目 标数据集上对模型进行预训练,致使“小样本学习”一定程度上变成个伪命题.因为模型的预训练依旧需要大量 标注数据,从本质上来看,与小样本学习的定义背道而驰.从根本上解决小样本问题,就要做到不依赖预训练模 型,可以研究利用其他先验知识而非模型预训练的方法.

(2) 深度学习的可解释性

由于深度学习模型本身是一个黑盒模型,在基于迁移学习的小样本深度学习模型中,人们很难了解到特征 迁移和参数迁移时保留了哪些特征,使得调整参数更加困难[ 105].提高深度学习的可解释性,能帮助理解特征迁移,在源领域和目标领域之间发现合适的迁移特征[ 106].在此方面已有了一些工作