【论文翻译】A Comprehensive Survey of Few-shot Learning: Evolution, Applications

A Comprehensive Survey of Few-shot Learning: Evolution, Applications, Challenges, and Opportunities

全面综述少样本学习：演变、应用、挑战与机遇

引用：Song, Yisheng, et al. “A comprehensive survey of few-shot learning: Evolution, applications, challenges, and opportunities.” ACM Computing Surveys 55.13s (2023): 1-40.
论文链接： 下载地址

Abstract 摘要

  少样本学习（Few-shot Learning，FSL）作为一种有效的学习方法展现出巨大的潜力。尽管最近在解决FSL任务方面有许多创新性的工作，但从少量甚至零样本中快速学习有效信息仍然是一项严峻的挑战。在此背景下，我们对过去三年中发表在顶级期刊和会议上的200多篇FSL论文进行了广泛研究，旨在从全新的视角呈现FSL最新进展的全面综述，并对现有工作的优劣进行公正的比较。为避免概念上的混淆，我们首先详细阐述并对比了一系列相关概念，包括少样本学习、迁移学习和元学习。然后，我们以金字塔的形式创造性地提取了与FSL相关的先验知识，从挑战的角度详细地总结和分类了以往的工作。此外，为丰富这篇综述，我们对每个子章节的最新进展进行了深入分析和富有见地的讨论。而且，以计算机视觉为例，我们强调了FSL的重要应用，涵盖了各种研究热点。最后，我们以对技术趋势和潜在未来研究机会的独特见解来总结这篇综述，为FSL的后续研究提供指导。

1 Introduction 引言

  硬件和信息技术的最新进展加速了数十亿设备在各种物联网（IoT）应用领域的互联。智能和自适应设备越来越多地部署在关键基础设施中，例如医疗、交通、工业生产、环境检测和家庭自动化。大量的终端设备每时每刻都在生成海量数据。在基于云的服务架构中，这些数据需要传送回数据中心进行集中处理和存储。尽管边缘产生的总数据量非常大，但单个设备或单个场景生成的数据集的体量却极其稀缺。传统的数据驱动和领域特定算法在少样本学习（FSL）环境下表现不佳。为此，大量研究致力于探索基于少量样本甚至跨领域场景的有效学习范式。少样本学习以及元学习，已不可避免地成为解决此类问题的有前景的方法。然而，如何有效地引入可以在仅有少量数据情况下快速泛化到新任务的先验知识仍然是最大的挑战。

  经验上，现实场景中的数据分布通常呈现长尾效应。在数据稀缺的情况下，难以将同一模型泛化到不同的数据分布中。以智能制造的工业检测为例，泛化能力差已经成为影响智能模型性能的关键挑战之一，特别是在光照条件动态变化和缺陷样本稀少的情况下。实际上，类似的问题涉及一些高成本和隐私的场景。在宇宙射线发现领域，研究人员希望从数千个宇宙射线中找到携带特定信息的高能宇宙射线。整个过程耗时，可能需要超过十年，并且成本高昂。如今，少样本学习在个人生活的各个领域都十分活跃，包括信用欺诈¹、票据识别²、意图识别³、冷启动推荐⁴、手势识别⁵。表1总结了FSL的应用场景和主要挑战。

表 1：FSL 的应用场景摘要及其主要挑战。

场景	行业	问题
质量检查线	智能制造	样本空间稀缺，领域分布差异
高能宇宙射线检测	航空与航天	样本空间稀缺，本地空间样本分布
药物毒性发现	化工	样本空间稀缺，本地空间样本分布
信用欺诈	金融	样本空间稀缺
票据识别	光学字符识别	领域分布差异
意图识别	自然语言处理	样本空间稀缺，本地空间样本分布
冷启动推荐	推荐系统	样本空间稀缺，领域分布差异
手势识别	动作识别	样本空间稀缺，本地空间样本分布

  为了更有效地解决这些问题，已经提出了许多创新性工作。Wang等人⁶对如何最小化经验风险进行了广泛研究，包括数据、模型和算法。在我们的综述中，从先验知识的抽象层次上，我们将FSL的工作表示为数据层、特征层、任务层和多模态层。与之前关于如何最小化经验风险的讨论不同，我们的综述侧重于先验知识本身，并试图从挑战的角度来完善先验知识的抽象层次。数据层是最低层，主要通过转换度量函数或直接生成新数据以尽可能增加数据多样性；特征层是第二层，可用作数据与相应标签之间的领域基础统计知识；任务层是第三层，与特定数据和领域无关，通过定制学习范式完成从已知任务到未知任务的映射。最后，多模态层是FSL中先验知识的最高层次，它可以通过包括图像、文本和音频在内的多种数据源以广义方式解决某些挑战。多模态层被期望成为解决FSL问题的最终途径。

  相应地，不同层次的先验知识面临多种挑战。在数据层，由于数据量过于稀缺，模型无法仅依赖一个或少量样本来准确评估真实的数据分布；在特征层，模型是用大规模的基础数据集训练的。如果基础数据集和支持数据集存在明显的领域差距，特征层可能会学习到不一致的表示空间，误导参数更新；在任务层，元学习高度依赖于网络结构。如果任务的分布跨越不同领域，则需要专注于如何从已知领域的相似任务中获取元知识以应用于其他领域的未知任务；多模态层对FSL有独特优势，但如何有效地将多模态知识嵌入到同一空间仍处于探索阶段。

  迄今为止，已有若干现有综述从不同角度研究了少样本学习。Shu等人⁷将少样本学习分为经验学习和概念学习。Lu等人⁸将少样本学习分为生成模型和判别模型。最近，Wang等人⁶研究了经验风险最小化，并基于优化参数空间定义了少样本学习的经验$\mathcal{E}$、任务$\mathcal{T}$和性能$\mathcal{P}$。整个分类基于参数空间的优化。据我们所知，还没有一篇论文从先验知识本身的角度提供分类。根据先验知识的抽象层次，我们的综述试图从挑战的角度详细地总结每个层次。逻辑上，数据、模型和算法是三个并行方面，在参数更新中扮演不同角色。而先验知识的层次本身是逐级递进的。通过总结不同层次的挑战，读者可以更好地掌握FSL背后的动机和原理。表2总结了本文中使用的关键首字母缩略词。

表2. 关键缩略词列表

全称（英文）	缩写	全称（英文）	缩写
人工智能 (Artificial Intelligence)	AI	少样本学习 (Few-Shot Learning)	FSL
深度学习 (Deep Learning)	DL	机器学习 (Machine Learning)	ML
零样本学习 (Zero-Shot Learning)	ZSL	一次性学习 (One-Shot Learning)	OSL
神经架构搜索 (Neural Architecture Search)	NAS	卷积神经网络 (Convolutional Neural Network)	CNN
K-近邻 (K-Nearest Neighbor)	KNN	支持向量机 (Support Vector Machine)	SVM
最近邻分类器 (Nearest Centroid Classifier)	NCC	图神经网络 (Graph Neural Network)	GNN
变分自编码器 (Variational Auto Encoders)	VAE	少样本目标检测 (Few-Shot Object Detection)	FSOD
长短时记忆网络 (Long Short-Term Memory)	LSTM	数据增强 (Data Augmentation)	DA
少样本跨领域 (Few-Shot Cross-Domain)	FSCD	对比学习 (Contrast Learning)	CL
语言模型 (Language Model)	LM	提示调优 (Prompt Tuning)	PT

1.1 本综述的组织结构

  本综述的其余部分组织如下：第2节提供了FSL的概述，对机器学习、元学习和迁移学习进行了比较分析，并总结了当前FSL的变体和挑战。此外，为了系统地解决这些障碍，在本节中我们展示了一种创新的分类法，用于对现有FSL相关工作进行分类。第3节至第6节从FSL挑战的角度对当前主流研究进行了系统调查，并从多个方面提供了比较分析。基于该分类法，每节末尾都提供了讨论和总结。第7节以计算机视觉为例，统计了FSL在代表性任务中的最新进展。第8节探讨了FSL目前面临的挑战，以及如何在各个分支中寻求突破。本文的整体结构如图1所示。

图 1. 综述的框架图

本综述的主要贡献总结如下：

1. List item我们从边缘计算场景开始，在该场景中FSL挑战出现，并解释和澄清了一些容易混淆的类似概念。这将有助于读者建立少样本学习、迁移学习和元学习之间的关系。
2. 我们从先验知识本身的角度，通过知识图谱全面调查了与FSL相关的工作。基于这一分类法，我们根据先验知识的抽象程度将FSL工作分为四个层次，其中最高层是多模态，第一、第二、第三层分别是数据层、特征层和任务层。
3. 我们调查了过去三年中的大量论文，并总结了FSL的主要成果，这些成果涉及广泛的基准数据集和任务。值得注意的是，我们还在每个章节末尾提供了前沿且富有见解的讨论。
4. 最后，针对这些基于分类法的挑战，我们讨论了FSL发展的当前热点方向，并对每个潜在领域提出了建议。我们旨在激发读者基于现有工作找到突破口，共同推动FSL朝着更实用的方向发展。

2 小样本学习的基本问题

  作为机器学习的一个分支，少样本学习（FSL）旨在通过稀缺数据设置来解决新任务。那么，什么是FSL？它与传统机器学习、迁移学习和元学习有什么关系？现有FSL变体存在哪些问题？在计算机视觉和自然语言处理领域，FSL的基准数据集是什么？在本节中，我们将通过回答这些问题来帮助读者解决FSL所面临的障碍。

2.1 小样本学习

  少样本学习（FSL）的概念受到人类强大的推理和分析能力的启发。2020年，Wang等人⁶通过机器学习的经验（$\mathcal{E}$）、任务（$\mathcal{T}$）和性能（$\mathcal{P}$）给出了一个标准定义：如果某个计算机程序能够从经验$\mathcal{E}$中学习，并针对某些类别的任务$\mathcal{T}$和性能度量$\mathcal{P}$，使得其在$\mathcal{T}$上的表现通过$\mathcal{P}$测量在$\mathcal{E}$中得到提升，那么该程序被认为是学习的。值得一提的是，FSL中的$\mathcal{E}$是非常稀缺的。相关的神经科学证据⁹已经证明，先天的人类能力与各种记忆系统有关，包括参数化的缓慢学习的新皮层系统和非参数化的快速海马体学习系统，分别对应于FSL中基于数据的缓慢学习和基于特征的快速学习。

  目前，FSL的理论研究主要集中在领域自适应¹⁰和可能近似正确（PAC）¹¹上。在普通机器学习任务中，假设真实数据$\mathcal{D}$服从分布$\mathcal{P}$。通常情况下，我们可以得到足够的样本${\mathcal{D}}_1,{\mathcal{D}}_2,{\mathcal{D}}_3$，使得模型能够通过最小化近似误差，使参数空间$\theta$尽可能与目标概念$h^{\ast }$一致。至于FSL的参数空间${\theta }_{FSL}$，Yang等人¹²解释说，由于样本数非常少，导致FSL数据分布的均值和方差不准确，而这些样本只是总数据集的一个很小子集。然而，相似类别通常具有相似的均值和方差。图2展示了PAC中FSL的估计和近似误差。在该图中，$h_{{\theta }_0}$是通过元学习搜索到的最优初始化点，$h_{{\theta }_{FSL}}$是基于${\theta }_{FSL}$空间的优化目标，$h_{{\theta }_{FSL}}-h^{\ast }$是近似误差，$h_{{\theta }_{FSL}}-h$是估计误差。理论证据¹³证明了估计和近似误差之间的差异在某个概率下小于一个特定值。总之，受限的参数映射空间、不确定的优化路径和不佳的初始化状态都会导致模型性能不佳。FSL任务通常以N-way-K-shot表示。每类样本数量对模型性能有显著影响¹⁴。随着样本量的增加，模型性能的提升会减弱，估计误差对类内方差偏差的敏感度会降低，而近似误差对类间方差偏差的影响会增加。

图 2. 基于 PAC 理论的少样本学习中的经验误差和近似误差

  根据分类法，FSL在先验知识的不同层次上仍然存在许多挑战。在本节中，我们详细说明了FSL尚未很好解决的挑战：

1. 不准确的数据分布评估： 在FSL中，由于成本、伦理、法律或其他原因，很难对大量半监督数据集进行标注。仅依赖少量样本可能会在估计真实数据分布时产生偏差，这对某些任务是有害的。在数据层，最大化对稀缺信息的数据分布的探索是最重要的挑战。
2. 特征复用的敏感性： 通过积累大规模的“数据-标签”领域知识，迁移学习可以通过预训练模型轻松获得特征层面的先验知识。然而，就跨领域FSL而言，预训练的特征提取器缺乏足够的泛化能力，导致对未见过的任务产生误导。
3. 未来任务的泛化性： 以元学习和情景训练为代表的任务层方法可以实现数据和任务的双重采样，并尽可能快速地将已见任务映射到未见任务。然而，元学习最近被证明只有在训练和测试任务足够相似时才有效。此外，元学习在现实世界中的各个领域高度依赖于网络结构。
4. 多模态信息融合的有效性： 多模态学习可以与环境进行交互，例如图像、文本和音频。它在整合图像嵌入和文本向量时显示出强大的泛化能力。参数化的多模态预训练模型可以轻松处理各种下游任务。然而，如何在尽量减少损失的情况下将文本、图像和其他信息嵌入到同一空间，仍然是多模态FSL的核心挑战。

2.2 少样本学习与传统机器学习的关系

  传统的机器学习是一种对数据有较高需求的方法。它以大规模数据集作为输入，推理基于从历史先验知识中提取的统计结果。如今，5G的发展为数百万终端设备提供了大规模的连接，实现了万物互联。终端设备产生的数据总量庞大，但单个数据集却极其稀缺。因此，传统机器学习在FSL的数据环境下表现不佳。为此，FSL应运而生，为应对数据稀缺场景提供了一种有前景的方法。

  近年来，FSL的研究取得了显著进展，相关研究广泛开展。图3展示了与FSL相关的论文发表数量和引用统计。从2014年到2017年，每年的发表数量没有超过50篇。在此期间，几乎所有工作都仍然集中于预训练和微调。自2018年以来，随着度量学习和元学习的情景训练的出现，基于各种度量学习和元学习的基线，大量工作得以完成，并在FSL中取得了具有竞争力的性能。截至目前，在mini-Imagenet少样本分类任务中，5-way-1-shot任务的准确率已达到95.3%，5-way-5-shot任务的准确率达到98.4%。图5提供了覆盖FSL领域热点研究主题和前沿发展的知识图谱，包括但不限于零样本学习（zero-shot learning）、单样本学习（one-shot learning）、迁移学习（transfer learning）、元学习（meta-learning）和多任务学习（multitask learning）。需要注意的是，以绿色为主的计算机视觉是最活跃的研究领域。

图 3. 2013年至2022年在核心期刊和会议上发表的与少样本学习相关的论文统计数据。

  FSL只是机器学习的一种特殊设置，旨在解决碎片化场景中难以获得足够有效数据的问题。在FSL的情景训练中，模型的输入通常以任务的形式给出。通过持续收集相关任务，FSL能够衡量支持-查询对之间的相似性。当模型面对未见过的任务时，仅需少量迭代就可以快速完成良好的初始化。与传统机器学习相比，FSL需要通过基于大规模基础数据集的特定损失函数进行优化。总之，无论是FSL还是传统机器学习，它们都只是生成算法的工具，最终分别服务于各自的应用场景。

图 5. 知识图谱以少样本学习、一样本学习和零样本学习为关键词，关联了少样本学习领域的主要进展和研究方向

2.3 少样本学习与迁移学习的关系

单样本学习（One-Shot Learning）： 一样本学习在支持数据集中每个类别只有一个可用样本。模型只需根据支持集回答“是”或“否”。实际上，一样本学习并不专门对数据进行分类，而是通过聚类来学习相似度度量函数。

零样本学习（Zero-Shot Learning）： 零样本学习是FSL的更极端延伸。在没有任何支持样本的情况下，零样本学习完全依赖于语义特征作为推断未见样本的桥梁。零样本学习使用高维语义特征^{15 16}而非低维像素特征来表示原始数据。一样本学习和FSL都可以视为特殊的零样本学习。

跨领域小样本学习（Cross-Domain Few-Shot Learning）： 跨领域少样本学习结合了迁移学习和FSL的挑战。由于领域差距的存在，源领域和目标领域的类别交集为空。此外，目标领域的样本数量极其稀缺。

2.4 少样本学习与元学习的关系

  元学习是一种提供情景训练的通用范式。图6展示了元学习涉及的三步训练过程¹⁷。元学习专注于在先验知识的辅助下提高对未见任务的泛化能力。如果先验知识被用于辅助模型学习特定任务，元学习可以被视为FSL的一种变体。元学习并不等同于FSL，FSL更多是一种终极目标，旨在不依赖大规模数据集的情况下实现稳健的表示。通过对数据和任务空间的双重采样，元学习能够构建大量与未见任务相关的辅助任务。即使某些工作不涉及元学习，如果能够考虑情景训练，例如元强化学习^{18 19}、元视频检测²⁰等，也可能提升性能。
图 6. 元学习训练的三步方法包括：寻找学习算法、使用任务定义损失函数、找到可以最小化损失函数的参数。

  然而，元学习也存在其自身的局限性：当训练和测试任务存在明显的领域差距时，元学习很少能够初始化参数权重。此外，元学习高度依赖于网络结构，并且需要针对广泛变化的任务重新设计。尽管如此，元学习仍然是解决FSL问题最有效的方法之一。

2.5 数据集

  在FSL基准数据集被提出之前，大多数实验在N-way-K-shot任务中使用多样化的数据集来评估FSL模型的性能。然而，一些简单的数据集无法反映真实世界的复杂性。经过20年的发展，FSL基准数据集已经完成了从单一领域、单一数据集到跨领域和多数据集的转变。表3在多维度上对这些数据集进行了总结。进一步来说，在图4中，我们选择计算机视觉任务来展示2019-2022年的最新进展。如果基准数据集涉及多个数据集，我们计算报告结果的平均准确率。除了Meta-Dataset²¹和BSCD-FSL²²之外，其他所有基准数据集均使用5-way-1-shot进行了评估。很明显，mini-Imagenet²³和CIFAR-FS²⁴的少样本图像分类问题相对得到了较好的解决。然而，许多跨领域图像分类任务，尤其是非自然场景，仍处于探索阶段。RDC-FT²⁵在这些任务中取得的最好成绩也仅为53.13%，显著低于人类水平。

图 4. 2019年至2022年期间，在各种基准数据集上少样本学习的性能提升进展，以计算机视觉为例。

表3. FSL基准数据集汇总

数据集	来源	类别数量	样本数量	任务	许可证
CIFAR-FS 24	CIFAR100 26	100	60000	图像分类	Attribution 4.0
mini-ImageNet 23	ImageNet 27	100	60000	图像分类	MIT
TieredImageNet 28	ImageNet 27	608	779165	图像分类	MIT
CUB-200-2011 24	Amazon Mechanical Turk	200	11788	细粒度分类	MIT
Meta-Dataset 21	ILSVRC-2012 29 Omniglot 30 Aircraft 31 CUB-200-2011 24 Describable Textures Quick Draw 32 Fungi 33 VGG Flower Traffic Signs 34 MSCOCO 35	1000 1623 100 200 43 345 1604 102 43 80	1200000 32460 10200 11788 5640 50000000 276074 81600 7855 328000	图像分类	多重许可
BSCD-FSL 22	EuroSAT 36 ISIC2018 37 Plant Disease ChestX-Ray8 38	10 2 38 8	27000 10015 54000 108948	跨领域分类	Apache-2.0 许可
FewGLUE_64_labeled 39	FewGLUE 40	NLP	NLP	单句任务 相似性与释义任务 推理任务	MIT
FewCLUE 41	EPRSTMT， CSLDCP， TNEWS， IFLYTEK， OCNLI， BUSTM， CSL， CLUEWSC WSC Winograd	NLP	NLP	单句任务 句对任务 阅读理解任务	Apache-2.0 许可

  在自然语言处理领域，FewGLUE_64_labeled³⁹是一个英文自然语言任务的集合，包括文本推理、文本蕴涵、情感分析和语义相似性，其语料库由独立句子组成。最近，FewCLUE⁴¹成为中文领域的官方基准数据集，包括IFLYTEK（长文分类）、CLUEWSC（代词消歧）、CSL（论文关键词识别）、CSLDCP等任务。FewCLUE⁴¹的人类性能平均为82.49%。然而，模型的最佳性能⁴²仅为54.34%。结果表明，FSL在自然语言处理方面仍有巨大的改进潜力。

2.6 分类法

  根据先验知识的模态，FSL工作可以清晰地划分为单模态学习阶段和多模态学习阶段。在单模态学习阶段，我们的综述进一步将先验知识抽象为数据、特征和任务层次。图7以金字塔的形式生动展示了FSL在先验知识抽象下的分类法。

图 7. 整个分类法以金字塔的形式呈现。底层代表“云-边-终端”边缘计算场景，其特点是在高流量下进行少样本实时计算。在此基础上，FSL的挑战根据先验知识的整合程度分为四个层次。

  数据层： 数据层主要通过增加特征或样本数量来评估真实的数据分布。最直接的方法是基于语义空间生成额外的数据⁴³或标注相似的辅助标记数据集⁴⁴。对于半监督数据集，对比学习^{45 46}和潜在增强⁴⁵是有效的表示框架。

  特征层： 特征层主要用于从支持集到查询集构建数据到标签的映射。一个良好的特征嵌入对于提取判别性表示至关重要。大多数预训练和微调工作都需要应用有效的正则化。此外，如果最大化保留预训练模型的参数，提示微调（prompt-tuning）可以通过向模型提供一些手动提示，极大地突破数据的约束。

  任务层： 任务层主要用于在任务空间中调整参数，包括模型参数和元学习到的参数。区别于多任务学习，元学习尝试从相关任务中学习先验知识，而不扩展已学参数或牺牲推理效率。元学习、度量学习和图神经网络是该过程中主要的方法。

  多模态层： 多模态层使文本、视觉和其他信息能够以最小损失嵌入到同一空间。在语言模型的辅助下，图像也可以以补丁的形式嵌入。多模态学习包含了丰富的知识，引导FSL进入多模态大模型+小样本的领域。

3 数据层：以最大概率评估真实数据分布

  少样本学习（FSL）旨在通过每个类别的少量甚至零样本学习新的类别。在现实世界的FSL任务中，由于隐私、收集和标注成本的限制，训练所用样本的数量总是有限的。为了解决数据稀缺问题，直接的方法是增加可用样本的数量。在我们的综述中，我们继续遵循先验知识层次的抽象，并将数据扩充细分为数据扩展和特征扩展。

3.1 数据扩展

  数据扩展主要是将新的可用数据添加到原始训练数据集中，或者基于未标注数据生成伪标注数据^{45 47 48}，或者对原始数据集进行转换^{43 49 50}。图8总结了FSL数据增强中扩展数据集的方法。当有足够的数据集可用时，FSL有望回归到机器学习范式，从而可以使用所有机器学习技术来解决FSL问题。

图 8. 数据扩展包括直接在训练集上应用变换规则、从其他半监督数据集中学习变换规则，或从相似的半监督数据集中选择合适的样本。

  其中，最广泛使用的方法是对图像应用各种规则转换，包括翻转、高斯模糊、裁剪、缩放等⁵¹。此外，⁵²和⁵³结合了这些简单的子策略，称为自动数据增强。然而，像素信息对FSL的改进有限。一些工作尝试叠加语义信息⁵⁴，补充被擦除区域⁵⁵，以及转换类间或类内变化⁵⁶。早期工作⁵⁷在相似类别中使用了Hausdorff距离度量。随后，^{58 59 60}利用自编码器捕捉类属性的线性或非线性变化，例如空间和外观。在自然语言处理方面，数据扩展主要包括简单的反向翻译、词语替换、释义和信念状态标注⁵⁰。无论是图像还是文本，相应的标签都分配给原始标签。最近，逆转标签⁶¹也在某些特殊任务中表现出性能提升。

  与在原始数据集上生成更多样化的样本相比，一个更好的方向是引入大量未标注的数据集。在手势识别中，T. Pister等人⁶²首次在一个大型未标注手势库中共同训练相似手势。然而，在许多其他情况下，模型无法一次性选择未标注的数据。整个过程需要不断的训练、推理和添加。具体来说，Wu等人⁶³选择了标注数据作为初始模型，Wang等人⁶⁴同时使用标注和未标注数据进行训练，而⁶⁵通过损失分布在同一度量空间中定义未标注数据及其最近的标注邻居。然而，如果未标注数据和标注数据之间存在领域迁移，生成的伪标签可能会带来目标类的噪声。早期工作⁶⁶将这种关系建模为两个生成器，一个用于将大样本映射到小样本，另一个用于将小样本映射到大样本。许多工作已经用于生成更好的伪标签，包括融合数据分布⁶⁷、对比学习⁴⁵和嵌入增强⁴⁵。

  除了未标注的数据集，查询集也可以在FSL中一起进行训练，这被称为传导式少样本学习⁶⁸。通过在训练阶段添加测试数据，可以获得更具判别力的全局表示特征。STARTUP⁴⁶提出在未标注的查询数据集上使用对比损失函数训练模型，并将模型结果的聚类作为这些未标注查询数据集的标签。如果领域间差异较大，使用固定的预训练模型可能是次优的。Islam等人⁶⁹放弃了对比损失函数，使用动态蒸馏来学习目标领域的更好表示。目前，基于传导学习的FSL与元学习任务紧密结合，更多相关工作将在后续章节中介绍。

3.2 特征扩展

  特征扩展是数据扩展的更高级形式，专注于一系列特征变换。图9总结了特征空间中的主要方法。在特征扩展中，样本通过特征提取器，且有效特征被进一步压缩为纹理、位置或属性。Laso⁷⁰是一个早期且具有代表性的工作。由于每个样本有多个标签，通过定义特征空间的交集和差集，可以在隐藏空间中生成更多相关样本。PFEMed⁷¹将预训练的通用特征与特定特征连接起来，以进一步增强FSL特征的语义信息。Chen等人⁷²提出加入一组参考图像，该图像集由许多同一类别的图像对组成。在嵌入空间中，参考对的特征被相加或相减。这样不仅丰富了多样性，还引入了参考特征。此外，AFHN⁷³探索了使用条件生成对抗网络来生成更丰富的识别特征。最近，有研究假设¹²当基础类和新类在语义上相似时，它们的均值和方差可以在很大程度上共享。基础类的均值和方差可以校正新类的数据分布。此外，Xu等人⁴⁴提出了一种分解数据集中的方差的框架，其中一个表示类内方差，其他表示判别信息的嵌入。通过反复采样，可以将类内方差添加到判别特征中。通过这种方式，在保持较大类内方差的同时，最大限度地学习特征。

图 9. 特征增强主要在无标签查询集和半监督参考数据集的辅助下进行，侧重于特征空间中的区分性特征表示。

表4. FSL数据增强工作在各个维度的总结。标记∗表示实验中有多个数据

方法	会议	类型	实验数据集	Query 集	外部标记集	外部未标记集
Congealing 57	CVPR’00	数据扩展	MNIST	✓
DAD 62	ECCV’14	数据扩展	Sign Language*	✓		✓
FTT 60	CVPR’16	数据扩展	TADB	✓		✓
Low-shot-shrink-hallucinate 58	ICCV’17	数据扩展	ImageNet	✓	✓	✓
FSI 74	ICCV’17	数据扩展	CUB*	✓		✓
Exploit the Unknown Gradually 63	CVPR’18	数据扩展	MARS			✓
Large-scale Diffusion 75	CVPR’18	数据扩展	ImageNet	✓	✓
∆-encoder 76	NIPS’18	数据扩展	mini-ImageNet*	✓		✓
CP-AAN 66	NIPS’18	数据扩展	Imagenet	✓	✓	✓
LST 65	NIPS’19	数据扩展	mini-ImageNet*	✓	✓
Global Class Representations 77	ICCV’19	数据扩展	mini-ImageNet*	✓	✓
AutoAugment 52	CVPR’19	数据扩展	CIFAR10*		✓
EDA 53	EMNLP IJCNLP’19	数据扩展	SST-2		✓
LaSO 70	CVPR’19	特征增强	Mlearned		✓	✓
IDeMe-Net 54	CVPR’19	数据扩展	mini-ImageNet*	✓	✓
Learned Transformations 59	CVPR’19	数据扩展	Biomedical Image		✓	✓
AFHN 73	CVPR’20	特征增强	mini-ImageNet*	✓	✓
DTN 72	AAAI’20	特征增强	mini-ImageNet*	✓	✓
Neural-Snowball 78	AAAI’20	特征增强	FewRel			✓
STARTUP 46	ICLR’21	数据扩展	BSCD-FSL	✓		✓
Few_Shot_Distribution_Calibration 12	ICLR’21	特征增强	mini-ImageNet*	✓	✓
Relation+MT 79	ICML’21	特征增强	mini-ImageNet*	✓	✓
AdarGCN 67	WACV’21	数据扩展	mini-ImageNet*	✓	✓
CSEI 55	AAAI’21	特征增强	mini-ImageNet*			✓
VFD 44	ICCV’21	特征增强	CUB*	✓	✓
PAS 80	ICCV’21	数据扩展	iNat2019-CL*	✓
PLCM 81	ICCV’21	数据扩展	mini-ImageNet*	✓	✓
iLPC 47	ICCV’21	数据扩展	mini-ImageNet*	✓		✓
RSVAE 43	CVPR’22	数据扩展	mini-ImageNet*	✓		✓
CLUSTER-FSL 48	CVPR’22	数据扩展	mini-ImageNet*	✓	✓

3.3 讨论与总结

  为了最大化评估FSL设置下的真实数据分布，出现了多种假设。当训练域和测试域相似时，可以使用训练域的均值和方差在测试域中生成合理范围内的数据。当训练域和测试域不够相似时，一种方法是从测试域引入未标注的数据集，另一种方法是学习训练域的类内或类间方差，以基于原始数据生成或转换新样本。表4总结了在不同维度上的方法，包括是否使用查询集，是否使用额外标注或未标注数据。表5对数据层代表性方法的性能进行了公平比较，这些方法基于骨干网分为两组，并根据5-way-1-shot任务中的准确率从高到低进行排序。从表4和表5可以看出，使用辅助数据集比不使用辅助数据集更有效，且特征扩展通常比数据扩展更有效。在未来，FSL数据增强将继续朝着更具泛化性和更高效的方向发展。

表5. 数据级代表性方法性能比较，以mini-Imagenet作为基准数据集

方法	骨干网络	设置	5-way 1-shot	5-way 5-shot
AFHN 73	ResNet-18	Inductive	62.38% ± 0.72%	78.16% ± 0.56%
∆-encoder 76	ResNet-18	Inductive	59.8%	69.7%
IDeMe-Net 54	ResNet-18	Inductive	59.14% ± 0.86%	74.63% ± 0.74%
Relation+MT 79	ResNet-18	Transductive	55.7%	70.29%
CLUSTER-FSL 48	ResNet-12	Semi-supervised	77.81% ± 0.81%	85.55% ± 0.41%
RSVAE 43	ResNet-12	Inductive	73.35% ± 0.37%	80.95% ± 0.31%
PLCM 81	ResNet-12	Semi-supervised	72.06% ± 1.08%	83.71% ± 0.63%
LST 65	ResNet-12	Semi-supervised	70.1% ± 1.9%	78.7% ± 0.8%
iLPC 47	ResNet-12	Transductive	69.79% ± 0.99%	79.82% ± 0.55%
CSEI 55	ResNet-12	Inductive	68.94% ± 0.28%	85.07% ± 0.5%
DTN 72	ResNet-12	Inductive	63.45% ± 0.86%	77.91% ± 0.62%
Li et al. 77	ResNet-12	Inductive	53.2% ± 0.4%	72.34% ± 0.32%

4 特征层：为特定问题构建数据到标签的映射

  深度学习模型利用大规模数据集和强大的计算能力所表达特征的能力远远超过人类。FSL利用特征知识在不同程度上共享预训练参数并重新定义下游任务。本节中，我们遵循先验知识的方向，将相关工作总结为迁移学习和多任务学习。图10展示了FSL中迁移学习的范式，包括微调和提示学习。

图 10. 迁移学习可以分为预训练和微调阶段，其中基准模型可以与其他技术结合以提高模型性能。

4.1 迁移学习

  从迁移学习的角度来看，FSL可以被视为一个跨领域学习任务。当相关任务被广泛获取时，FSL尝试对目标任务泛化某些有用的先验知识。在FSL中，标准的迁移学习也可以分为两个阶段：在源任务上学习，然后在目标任务上进行迁移。其中，第二阶段可以通过不同的方式实现。

4.1.1 预训练

  在预训练阶段，包括ResNet⁸²系列、VIT⁸³系列、ELMo⁸⁴、BERT⁸⁵和GPT⁸⁶系列在内的大规模网络被训练在覆盖相似下游任务的大型基础类别数据集上。预训练可以在有监督学习或无监督学习中进行。有监督学习是一种常见的方法，需要设计特殊的损失函数。需要注意的是，我们的综述主要关注自监督和无监督学习工作，这些方法与FSL中的有监督学习相比能够实现更具竞争力的结果。

  最具代表性的工作是Transformer⁸³，它是一种用于自然语言处理的无监督训练方法。在此基础上，BERT⁸⁵在编码器中使用了Transformer，并在训练中专注于上下文信息。相比之下，GPT⁸⁶在解码器中使用了Transformer。与RNN相比，它更容易实现并行化。GPT有很多不同版本，每个版本都有不断增加的参数数量和词序列处理长度。GPT-2⁸⁷引入了多任务学习，整个训练过程需要更多的参数和更大的数据集。GPT-3⁸⁸受元学习启发，其内循环和外循环分别负责更新不同的参数。最近，iGPT⁸⁹将GPT扩展到计算机视觉领域，使用自回归方式基于保留图像的上半部分逐像素预测图像的下半部分。随后，MAE⁹⁰在自监督学习的帮助下尝试部分遮蔽图像。通过重建原始图像，模型学习如何表示语义特征。

  FSL利用预训练模型的特征表示能力来显著减少类内变化⁹¹，从而使模型更专注于判别性区域。实验证明，有监督训练方法可能会扭曲不同类别的实例并忽略语义信息。相反，无监督训练专注于对齐下游任务的特征。

4.1.2 微调

  当高层语义特征与目标任务紧密相关时，微调范式假设底层特征知识可以在下游任务中重用。因此，在微调过程中识别特定的层和学习率至关重要。

  Baseline⁹²使用标准特征提取器，后接一个全连接层。Baseline++⁹²用余弦度量函数替代了全连接层。当计算能力充足时，进化策略⁹³是确定重新训练层数和学习率的良好选择。此外，经验表明，只重新随机化顶层参数⁹⁴以及相同架构知识的自蒸馏⁹⁵也对FSL有益。最近，许多工作^{96 97}探索了一些有用的技巧，包括自监督学习⁹⁶、注意力模块^{98 99}和掩码生成模块⁹⁷。P>M>F¹⁰⁰清晰地总结了跨预训练、元学习和微调的训练过程，在多个基准数据集上达到了FSL的最新水平。其中，特征提取骨干网是FSL性能的主导因素。

  类似地，在自然语言处理领域，预训练和微调极大地加速了FSL的发展。其中，BERT⁸⁵主要用于语言理解，而GPT⁸⁶则用于文本生成。语言模型在大型语料库上训练不同任务，使其具备理解¹⁰¹甚至生成目标文本¹⁰²的能力。Zhang等人¹⁰³探索了微调BERT⁸⁵的主要技巧，包括错误校正、权重初始化、L2正则化和冻结层。另一方面，Lee等人¹⁰⁴微调了GPT-2，并在自动专利主张任务上取得了最先进的性能。除了性能方面的优势，微调的最大优点是不需要任务级的模型结构设计。表6总结了FSL中预训练 + 微调在骨干网和微调技巧方面的主要工作。

表6. 各种维度下的预训练和微调方法总结，包括若干技巧

方法	会议	骨干网络	参数量	调参	知识蒸馏	注意力
Squad 102	EMNLP’16	Logistic Regression	-	✓
Attention is All you Need 105	NIPS’17	Transformer	110M			✓
Baseline 92	ICLR’19	Conv64F	0.22M
Baseline++ 92	ICML’19	Conv64F	0.22M		✓	✓
CAN 98	NIPS’19	ResNet12	12.47M
GLUE 101	ICLR’19	ELMo	94M	✓
RFS-distill 95	ECCV’20	ResNet-12	12.47M		✓
LEE et al. 104	WPI’20	GPT-2	1500M	✓
CTX 97	NIPS’20	Transformer	110M		✓	✓
SKD 96	CVPR’20	ResNet12	12.47M		✓
P-Transfer 93	AAAI’21	ResNet-12	12.47M			✓
BERT Fine-tuning 103	CL’21	BERT	110M	✓		✓
COSOC 106	NIPS’21	ResNet-12	12.47M	✓		✓
P>M>F 100	CVPR’22	ViT	307M	✓		✓
ReFine 94	CVPR’22	ResNet-10	9.86M		✓	✓

4.1.3 提示学习

  提示学习是一种新颖的范式，在零样本或少样本场景中实现了具有竞争力的性能。与微调相比，提示学习不需要设计损失函数，而是对预训练模型进行轻微的手动提示。这保留了预训练模型的最大能力，使其能够更好地理解下游任务。根据提示的位置，提示学习可以分为前缀提示^{107 108}和填空式提示^{87 107 109}。具体而言，前缀提示表示后续文本与对应不同任务的前缀词相结合^{88 110}。填空式提示意味着在句子的空白处填入合适的词语。不同任务¹⁰⁷可能有不同的空白位置，以测试模型是否学习了相应的语义知识^{107 111}。表7和图11总结了FSL中广泛使用的提示策略。

图 11. 提示学习重构不同任务以适应预训练语言模型。具体而言，提示可以是手动的、抽象的或自动生成的。

表7. 自然语言处理中的FSL提示学习的详细总结

方法	会议	骨干网络	类型	形式	亮点
PT 110	ACL’21	GPT-3	手动提示 (Manual Prompt)	前缀提示 (Prefix Prompt)	结合输入向量和前缀提示
Brown 88	NIPS’20	GPT-3	手动提示	前缀提示	设计与任务相关的提示
Petroni et al. 87	EMNLP’19	BERT	手动提示	填空式提示 (Cloze-Style)	使用填空式提示学习先验知识
Cui et al. 107	ACL-IJCNLP’21	BERT	手动提示	填空式提示	使用填空式提示构建实体分类任务
PET 112	EACL’21	PLM	手动提示	填空式提示	引入微调与知识蒸馏
LPAQA 113	MIT’20	LMS	自动提示 (Auto-Prompt)	填空式提示	将手动模板收集为模板库
AutoPrompt 114	ACL’20	MLMs	自动提示	填空式提示	通过收集先验提示自动搜索模板
LM-BFF 115	ACL’21	GPT-3	自动提示	填空式提示	恢复掩码句子的语境
PT* 108	ACL’21	GPT-2	潜在提示 (Latent Prompt)	前缀提示	在输入文本前添加前缀 ID
CP-Tuning 116	ACL’22	PLMs	潜在提示	前缀提示	连续提示嵌入替代手动设计的提示
OptiPrompt 117	NAACL’21	BERT	潜在提示	填空式提示	使用文本提示模板初始化并进行微调
GPT understands 118	Arxiv’21	GPTs	潜在提示	前缀提示	模型输出被视为隐藏向量进行优化
PPT 119	ACL’22	PLMS	潜在提示	填空式提示	在预训练期间添加软提示

  手动提示模板的显著问题在于提示质量直接影响模型的性能。Jiang等人¹¹³在大量文本预测中收集了一些转换作为模板。新任务可以在大量经验中搜索模板。另一种方法是提示释义。基于种子提示，通过反向翻译和关键词替换将其扩展为更多提示。最具代表性的工作是Auto-Prompt¹¹⁴，它对模板中的词进行掩码，自动用其他合适的词替换，以最大化标签的概率。Gao等人¹¹⁵使用T5模型进行训练和比较，以生成空白处的每个位置。整个过程相对计算密集。

  进一步而言，更抽象的一种提示类型是对隐藏空间进行提示。输入可以是嵌入向量，输出不再是具体的词语。最具代表性的方法是PT¹⁰⁸，它在正常输入前添加几个前缀id。除了初始化参数外，所有其他参数都被冻结，并且只有在调整前缀时才更新。受到这一思想的启发，CP-Tuning¹¹⁶使用连续提示嵌入代替端到端手动设计的提示模板。之后，一些工作开始探索如何在隐藏空间中初始化提示。PPT¹¹⁹指出，通过在预训练阶段添加软提示，可以获得更好的初始化。另一种方法^{117 118}是将提示作为初始状态，在微调过程中找到更合适的潜在提示。

4.2 多任务学习

  与迁移学习相比，多任务学习需要多个损失函数来优化模型。扩展任务往往在嵌入空间中朝不同方向更新，这在一定程度上抵消了一些噪声。在FSL多任务学习中，参数更新可以分为硬参数共享和软参数共享。

  据我们所知，FSL多任务学习¹²⁰最初应用于视频事件检测任务。在特征表示中，通过控制参数更新的位置^{121 122 123}，多任务学习实现了共享层参数的最大混淆。这种特征分离操作¹²⁴最大化了通用特征和判别性特征学习之间的平衡。这个思想被应用于自动指控预测¹²⁵，通过添加一些判别性属性，消除与属性无关的特征，并使用与属性相关的特征进行指控预测。多任务学习还可以用于数据增强。FGVC¹²⁶提出在预训练任务中添加样本选择任务。每个训练分类器共享一个基础网络以实现更好的结果。

  在此过程中，FSL多任务学习长期以来一直与自监督学习相关联。图12总结了主要前置任务的自监督训练。具体而言，BF3S¹²⁷将FSL分类任务与图像旋转角度预测相结合。同样，前置任务也被用于图像上色¹²⁸，预测每个块的相对位置^{129 130}，局部Fisher判别¹³¹。大量实验表明，预测图像块的旋转角度和相对位置是FSL中更有效的方法。PSST¹³²进一步将FSL分类、图像位置预测和角度预测相结合，实现了最新的性能。其直觉是，通过解决这些任务，主干网络可以提取更多不仅与标签相关的语义特征。随着元学习与精心设计的多任务学习相结合，有可能在实现竞争性结果的同时将训练时间减少十倍。

4.3 讨论与总结

  基于特征层的FSL是一个广泛的研究方向。实际上，特征提取器的选择尤为重要。一个好的特征提取器能够从少量样本中提取判别信息。在此基础上，如果现实中存在多个类似任务，多任务学习可以更好地引导模型参数的更新。当然，如果相关任务难以收集，微调也是一个不错的选择。总的来说，微调范式主要有两种：预训练和提示学习。其中，提示学习保留了预训练模型对每个任务的更好性能，相比于微调。

图 12. 对比学习涉及少样本学习的多任务工作，包括上色、拼图、自视图和前景提取。

表8. 以mini-Imagenet作为基准数据集的特征级代表性方法性能比较

方法	骨干网络	设置	5-way 1-shot	5-way 5-shot
Baseline++ 92	Conv-4-64	微调	63.85% ± 0.48%	66.43% ± 0.63%
BF3S (Rotation) 127	Conv-4-64	多任务学习	54.83% ± 0.43%	71.86% ± 0.33%
BF3S (patch location) 127	Conv-4-64	多任务学习	54.30% ± 0.42%	71.58% ± 0.33%
Baseline 92	Conv-4-64	微调	42.11% ± 0.71%	62.53% ± 0.69%
COSOC 106	ResNet-12	微调	69.28% ± 0.49%	85.16% ± 0.42%
SKD 96	ResNet-12	微调	65.93% ± 0.81%	83.15% ± 0.54%
RFS-distill 95	ResNet-12	预训练	64.82% ± 0.6%	82.14% ± 0.43%
P-Transfer 93	ResNet-12	微调	64.21% ± 0.77%	80.38% ± 0.59%
PSST 132	ResNet-12	多任务学习	64.05% ± 0.49%	80.24% ± 0.45%
CAN 98	ResNet-12	微调	63.85% ± 0.48%	79.44% ± 0.34%

  在此过程中，对比学习抛开了标签，从数据本身学习了更丰富的知识。需要注意的是，对比学习需要充足的计算资源。表8以公平的方式比较了特征层的代表性方法。由于提示学习实验未涉及mini-Imagenet，因此这里不包含对比。在小容量网络中，多任务学习相较于微调具有一定优势，而在大容量网络中，微调则具有明显的优势。大量工作表明，即使仅使用微调，大多数FSL任务也能得到较好的解决。在未来，对比学习与多任务学习和微调相结合将成为一个值得探索的热点方向。

5 任务层：独立于特定问题的元知识到目标任务映射

  任务层与数据层和特征层不同，在任务层，针对数据和任务进行双重采样以提取元知识。元知识独立于特定问题，在任务空间中寻找最优参数。广义而言，任务层用于学习优化参数、生成度量函数以及总结知识迁移。其中，学习优化参数包括优化元学习到的参数和优化现有模型参数；生成度量算法包括特征嵌入、基于外部记忆、度量学习、图神经网络以及其他基于相似性的算法。

5.1 学习优化元学习到的参数

  学习元学习参数的关键思想是搜索一个对未见任务具有通用性的全局初始化状态。传统的初始化方法，如均匀分布和正态分布，容易陷入局部最优。考虑到FSL的特殊性，MAML¹³³（模型无关的元学习）基于情景训练提出了一种新方法。MAML是一种典型的两阶段参数模型。第一阶段更新每个任务，即局部更新。第二次更新是对每批任务查询损失的平均值，即全局更新。计算量是其最大问题。因此，大量工作致力于改进MAML，包括简化¹³⁴、动量更新¹³⁵、忽略二阶导数^{136 137}、使用进化算法¹³⁸以避免反向传播以便在CPU上运行良好¹³⁹，以及考虑梯度更新方向和学习率¹⁴⁰。

  此外，还可以通过其他模型生成相关的初始化参数。AWGIM¹⁴¹基于低维¹⁴²引入互信息和注意力机制，生成包含更多查询信息的权重。此外，MAML结合概率分布衍生出LLAMA¹⁴³、PLATIPUS¹⁴⁴、Bayesian MAML¹⁴⁵、DKT¹⁴⁶和ABML¹⁴⁷。至于扩展参数空间，MT-NET¹⁴⁸添加了转换矩阵和二进制掩码矩阵；TAML¹⁴⁹引入了正则化条件；OOD-MAML¹⁵⁰借鉴了虚拟样本；ARML¹⁵¹构建了元知识图；WGDMAML¹⁵²在学习的层之间引入了非线性激活函数；¹⁵³引入了教师-学生网络，延长了内部视野。UNICORN-MAML¹⁵⁴总结了上述工作，并就如何训练MAML以达到最先进的方法提出了一些建议。最近，METADOCK¹⁵⁵通过动态选择核来压缩元模型，能够轻松部署在边缘设备上。图13对这些相关工作进行了概述和总结。

图 13. 大量相关工作已被整理和总结，以 MAML 作为参考工作。

  除了优化初始化参数，另一个重要方向是基于模型的机制。它需要一个外部存储器以键值对的形式存储先验知识。键存储模型嵌入的输出，值存储各种标签。据我们所知，MANN¹⁵⁶是最早使用外部存储器显式存储每个情景中的特征嵌入的工作。Kaiser等人¹⁵⁷将键值存储模块扩展为使用三元组进行保存。额外的向量用于选择长时间未更新的向量。APL¹⁵⁸进一步将基于模型的知识总结为概率分布。与使用静态存储矩阵的现有工作不同，DMIN¹⁵⁹使用动态存储路由来学习动态存储模块。同样，¹⁶⁰在存储模块中对各个历史任务的关系进行建模，而¹⁶¹在训练过程中保持稳定的原型表示。在几个极端跨领域场景中，存储模块中的键不能简单地概括为语义，而应具有多层次特征¹⁶²。

  受MAML和Reptile的启发，网络架构搜索也可以在少量更新轮次中实现快速收敛。共享¹⁶³或随机选择的超级网络权重¹⁶⁴是早期被称为单次NAS的工作。但单次NAS的性能仍然相对落后于传统NAS。随后，Zhao等人¹⁶⁵提出了少样本NAS。其核心思想是将超级网络划分为多个子超级网络，以搜索不同的搜索空间区域。由于超级网络数量的略微增加，少样本NAS的准确性得到了显著提高。MetaNAS¹⁶⁶是第一个完全整合元学习和传统NAS的方法。它替代了DARTS¹⁶⁷中的加权求和以减少不同操作。经验表明，MetaNAS更适用于下游学习任务。

5.2 学习度量算法

  学习度量算法旨在学习一个映射，该映射用于计算支持-查询对之间的抽象距离。在^{168 169}中，度量学习作为元学习中的一个独立章节呈现。一般来说，度量学习也可以被视为一种学习相似性度量的方法，它融合了“学习如何学习”的理念。表9总结了FSL度量学习的大量工作。

表9. 基于基线方法的度量学习方法总结（以粗体突出显示）

方法	会议	样本选择	度量函数	目的
Siamese Neural Network 170	ICML’15	正负样本对	欧式距离 (European Distance)	保证相似输入的距离尽可能小，不同类别输入的距离尽可能大
Triple loss 171	SIMBAD’15	锚点、正样本、负样本	欧式距离	锚点与正样本间的距离小于锚点与负样本间的距离
E-navigate sample 172	CVPR’17	硬样本 (Hard Sample)	全连接层 (Fully-Connected Layers)	不仅考虑正负样本间的相对距离，还考虑正样本间的绝对距离
K-tuple 173	Neurocomputing’20	K元输入 (K-tuple Input)	全连接层	复习传统三元组网络并扩展为 K 元组网络
MSN 174	IEEE’21	正负样本对	多度量距离 (Multiple Distance Metrics)	引入基于距离的损失来辅助优化
Muller et al. 175	ACL’22	随机输入与标签文本	点积 (Dot Product)	标签嵌入根据相似度函数得分
PSN 176	SIGIR’21	动作句和目标句对	全连接层	PSN 包含两个结构相同但权重不同的子网络：一个动作网络，一个目标网络
Prototype Network 177	NIPS’17	情景训练 (Episodic Training)	欧式距离	比较原型与查询样本的距离
BF3S 178	CVPR’20	情景训练	余弦相似度 (Cosine Similarity)
Negative Margin 179	CVPR’20	情景训练	余弦相似度	自适应调整相似类别和不同类别的边界距离
Cao et al. 180	ICLR’21	情景训练	欧式距离	使用跨多个图像的共享概念作为原型
Embedding propagation 181	ECCV’20	情景训练	GNN	提高表示之间的高级交互信息
SGAP-Net 182	AAAI’20	情景训练	PS 模块	通过语义引导模型学习新的度量空间
APLCNE 183	ECCV’20	情景训练	三元组损失 (Triplet Loss)	考虑图像的空间相关性
SEN 184	ECCV’20	情景训练	欧式距离	模态特征与原型长度对齐
RestoreNet 185	AAAI’20	情景训练	全连接层	使用原始向量与解码器重构的向量之和作为原型
PANet 186	ICCV’19	情景训练 (Episodic Training)	余弦相似度 (Cosine Similarity)	匹配每个像素与原型的相似性
HATT-Proto 187	AAAI’19	情景训练	欧式距离 (Euclidean Distance)	为实例和原型特征设计混合注意力网络
CAD 188	CVPR’22	情景训练	全连接层 (Fully-Connected Layers)	计算特征间的注意力分数，然后通过映射头产生表示
MetaNODE 189	AAAI’22	情景训练	余弦相似度	原型偏差可以通过元优化继续解决
Matching Network 23	NIPS’16	情景训练	余弦相似度	使用外部记忆提高学习能力
DEEPEMD 190	CVPR’20	情景训练	地球移动距离 (Earth’s Mover’s Distance)	使用地球移动距离进行端到端训练并提出交叉引用机制
Adap-EMD 191	IEEE’22	情景训练	地球移动距离	动态计算矢量组间的细粒度关系
Deep Brownian Distance Covariance 192	CVPR’22	情景训练	布朗距离 (Brownian Distance)	通过测量嵌入特征联合分布和边缘分布的乘积之间的差异来学习图像表示
Relation Network 193	CVPR’18	情景训练	全连接层	使用神经网络计算相似性
BSNET 194	IEEE’20	情景训练	双全连接层 (Bi-Fully-Connected layers)	通过将余弦模块与其他模块组合实现双重相似性模块
SAML 195	ICCV’19	情景训练	全连接层	关联矩阵通过 MLP 层传递以获得相似性分数
GNN-FSL 196	ICLR’18	情景训练	GNN	特征提取器提取样本矢量后，直接输入图神经网络训练以预测标签
EGNN 197	CVPR’19	情景训练	GNN	设计边标记图神经网络，不仅预测边节点标签，还预测不同类别
Meta-CCN 198	ICLR’20	情景训练	GNN	图权重更新可以根据梯度下降步骤进行优化
TRPN 199	IJCAI’20	情景训练	GNN	首次考虑支持查询对之间的关系并将其显式建模为图神经网络
HGNN 200	AAAI’19	情景训练	GNN	将图神经网络视为标签传播工具，可以与特征嵌入网络联合训练
DPGN 201	CVPR’20	情景训练	GNN	引入点和分布图的概念

  孪生神经网络¹⁷⁰是相对较早的模型。输入由一组正样本或负样本对组成，输出则是一个简单的二分类问题。基于孪生神经网络，更多的工作考虑了添加锚点样本¹⁷¹甚至更多样本¹⁷³，以及选择一个难样本¹⁷²。孪生神经网络是一个通用框架。当骨干模型不共享权重时，孪生神经网络将成为伪孪生网络。

  与孪生神经网络相比，基于特征平均的原型网络¹⁷⁷实现了分类的真正意义。但是简单地平均特征容易受到噪声的干扰。一些工作^{178 179 202}提出了类似类别和不同类别之间不同类型的自适应边界距离。此外，选择图像的特定部分¹⁸⁰以增强高阶语义特征的交互¹⁸¹，可以引导模型在新的度量空间中学习原型表示¹⁸²。APLCNE¹⁸³是最具代表性的工作，它用胶囊网络代替CNN来编码空间位置信息。原型通过加权求和计算。如果样本较为稀疏，可以使用正则化来约束不同模态原型的长度¹⁸⁴，并引入注意力机制来重构原型表示^{185 187 188}。

匹配网络²³结合了参数和非参数算法来建模距离分布。最常用的度量包括欧氏距离、曼哈顿距离和余弦相似性。最近，DEEPEMD¹⁹⁰首次提出了具有地球移动者距离的交叉引用机制。它使用节点特征和另一结构中平均节点特征的点积来生成相关性分数作为权重值。DEEPEMD可应用于遥感场景¹⁹¹。深布朗运动距离协方差¹⁹²是另一种较低计算复杂度的方法，它通过测量嵌入特征的联合分布与边缘分布乘积之间的差异来学习图像表示。实验证明，布朗运动距离协方差在FSL度量学习中具有巨大潜力和广泛应用。

关系网络¹⁹³与上述模型不同，它使用神经网络结合余弦相似性¹⁹⁴、注意力模块¹⁹⁵和图神经网络²⁰³来计算相似性。其中，图神经网络用于解决大量的FSL问题。最早的工作之一是GNN-FSL¹⁹⁶，它将样本的向量表示输入到图神经网络中。在此基础上，通过设计不同的嵌入节点^{197 198 199}和标签传播机制^{200 201}，图神经网络可以非常有效地建模支持-查询对之间的关系。

*图 14. 度量学习可以分为三个部分：采样策略、主干网络和度量方法，其中红线和橙线基于孪生神经网络模型，蓝线基于原型网络，棕线基于匹配网络、关系网络和图神经网络。其中，$P$ 表示正样本，$N$ 表示负样本，$A$ 表示锚样本，$S$ 表示支持集，$Q$ 表示查询集。

5.3 讨论与总结

任务层的先验知识涵盖了所有“学习如何学习”的方法，包括学习优化参数和学习度量函数。具体而言，相关工作涉及度量学习、迁移学习、元学习、基于模型的记忆、嵌入学习、图神经网络等。学习元学习参数在很大程度上可以为未见任务获得良好的初始化。当然，一些算法通过细粒度的领域迁移规则获得了更好的结果。然而，这在计算资源方面是一项相当大的挑战。表10比较了代表性的元学习方法，其中基于MAML的方法^{133 146}进一步优化了内循环和外循环，在少样本分类任务中实现了新的结果，而基于新度量的方法^{190 192}相比于基于余弦相似性²⁰⁴和欧氏距离¹⁷⁷的方法取得了很大的改进。

表10. 以mini-Imagenet数据集为例的任务级代表性方法性能比较

方法	骨干网络	设置	5-way 1-shot	5-way 5-shot
DKT 146	Conv-4-64	元学习 (Meta Learning)	49.73% ± 0.07%	-
MAML 133	Conv-4-64	元学习	48.70% ± 1.75%	63.11% ± 0.92%
DeepBDC 192	ResNet-12	布朗距离 (Brownian Distance)	67.83% ± 0.43%	85.45% ± 0.29%
DEEPEMD 190	ResNet-12	地球移动距离 (Earth Mover’s Distance)	65.91% ± 0.82%	82.41% ± 0.56%
Meta-Baseline 204	ResNet-12	余弦相似度 (Cosine Similarity)	63.17% ± 0.23%	79.26% ± 0.17%
Prototype Network 177	ResNet-12	欧式距离 (Euclidean Distance)	60.37% ± 0.83%	78.02% ± 0.57%

  未来，预计更多的跨模态任务将被整合到元学习框架中，在不同模态之间的任务可以通过智能与环境的交互实现相互强化，使得训练模型不必从头训练参数，特别是在遇到细粒度的FSL任务时。

6 多模态：多模态信息的无损表示

  尽管一些工作^{188 190 191}在FSL特定任务中取得了出色的成果，但在更通用的先验知识（如BSCD-FSL²²）方面，FSL仍然难以取得大的突破。目前，由于前缀微调和提示微调的有效性，FSL在零样本学习中表现出令人惊讶的效果。图15展示了跨文本、图像和音频的多模态FSL的几项关键技术。
图 15. 多模态学习通过融合、对齐和转换模型化各种模态信息。

  CLIP²⁰⁵为多模态训练提供了一个基本思路：联合训练文本骨干网络和视觉骨干网络。在CLIP的基础上，CADA-VAE²⁰⁶使用VAE作为骨干网络，将图像特征和标签文本映射到相同的潜在空间。Wang等人²⁰⁷将图像分解为原始图像、前景图像和背景图像，以通过CNN骨干网络获取融合的视觉特征。Li等人²⁰⁸应用无监督聚类以获得层级语义信息，而Schwartz等人²⁰⁹则使用多个MLP层通过文本骨干网络提取带有标签向量的语义原型。Peng等人²¹⁰使用GCN将类别的语义信息生成到相应的分类权重中，并结合语义生成权重完成FSL分类器。Xing等人²¹¹将文本向量与视觉特征一起添加到原型网络中，以训练自适应分类。同样地，Pahde等人²¹²利用语义生成来辅助视觉特征。CCAM²¹³通过编码上下文原型替换真实标签，并通过比较各个原型之间的距离进行分类。各自领域的骨干网络嵌入简单易于训练，但同时训练良好的语言模型和视觉模型可能会严重影响语言模型的性能。

  多模态提示学习允许视觉嵌入通过提示或添加前缀与语言模型持续适应，这在很大程度上保留了语言模型的强大特征表示能力。MCNLG²¹⁴的提示非常直观，它将多模态序列作为前缀提示放在输入序列之前，解码器依次解码共享的多模态信息。视觉骨干网络是ResNet-152，文本骨干网络是嵌入网络。ActionCLIP²¹⁵是CLIP²⁰⁵在动作识别场景中的应用。整个训练过程可以被公式化为预训练、提示学习和微调，其中提示用于保留更多多模态预训练模型的强大表示性能。具体而言，文本提示包括前缀提示、填空式提示和后缀提示。ALPRO²¹⁶遵循了CLIP²⁰⁵的手动模板，其主要贡献是使用对比学习进一步在嵌入空间中对齐各个模态。CPT²¹⁷是一种颜色提示微调，通过构建相应的提示模板，使用不同的颜色模块区分实体。CoOp²¹⁸不同于之前的手动提示模板，标签嵌入可以选择性地放置在生成的自动化虚拟模板的中间、前面或后面。最近一项具有里程碑意义的工作²¹⁹帮助语言模型理解图像，其核心思想是将视觉特征与文本特征对齐。语言模型参数在训练阶段完全冻结，只有视觉编码器在反向传播中更新。冻结的语言模型可以视为前缀提示。

  未来，随着越来越多的多模态预训练模型的出现，传统FSL将进入大模型+少样本微调的时代。多模态预训练模型具有强大的通用性，可以弥补语言模型在多模态场景应用中的端到端不足。多模态FSL将FSL的能力向人类水平又迈进了一步。

6.1 讨论与总结

  与单模态学习相比，多模态FSL仍处于发展阶段。表11比较了多模态FSL的代表性方法。实验结果表明，在相同条件下，判别方法比生成方法的性能稍好。判别方法主要关注语义信息原型的设计和度量算法的选择。

表11. 以mini-Imagenet作为基准数据集的任务级代表性方法性能比较

方法	骨干网络	设置	5-way 1-shot	5-way 5-shot
Schwartz et al. 209	ResNet-10	判别 (Discriminant)	67.3%	82.1%
Peng et al. 210	ResNet-10	生成 (Generation)	54.34% ± 0.77%	69.02% ± 0.65%
Xing et al. 211	ResNet-12	判别	65.30% ± 0.49%	78.10% ± 0.36%
Li et al. 208	WRN-28-10	判别	64.40% ± 0.43%	83.05% ± 0.28%

  目前，多模态FSL还存在许多额外的挑战：如何整合来自异构领域的数据；如何处理在不同模态组合过程中产生的不同层次的噪声；以及如何在同一空间中对齐共通的学习特征表示。各种实验表明，提示学习显著优于联合训练，更适合在少样本情况下更新少量参数的实际情境。在多模态FSL中，一个良好的特征表示应能够基于观测到的模态信息，辅助缺失的模态信息。接下来，将会有更多的多模态预训练模型在文本、图像和音频之间涌现，共同推动FSL朝向环境交互的发展。

7 FSL在计算机视觉中的应用

目前，FSL已深度融入到众多行业中。研究人员期望FSL能够像人类一样轻松处理各种极端条件下的推理任务。计算机视觉任务的性能在很大程度上代表了最高水平的先验知识。在本节中，我们对计算机视觉中的四个主要任务——分类、目标检测、实例分割和语义分割——提供了详细的图形化总结。本节将为读者提供计算机视觉领域最新成就的全面概述。

7.1 少样本图像分类

  随着预训练骨干网络的参数数量增长至数百亿，常规的少样本图像分类任务已经得到了很好的解决。在一些极端的跨领域条件下，FSL仍未完全解决，例如EuroSAT³⁶、ISIC2018³⁷、植物病害和ChestX-Ray8³⁸。根据不同层次的先验知识，少样本图像分类可以在多个维度进行总结。基于预训练+微调结合元学习的方法取得了最佳结果¹⁰⁰，这在很大程度上超越了传导式少样本学习。在本节中，我们研究了2016年至2022年的少样本图像分类工作，并根据5-way-1-shot和5-way-5-shot任务统计了mini-ImageNet基准数据集上的最佳性能。表12和图16展示了我们的研究结果。

表12. mini-ImageNet分类任务的最新技术概述表，包含一些特殊技巧。PT表示预训练，FT表示微调，DA表示在训练阶段或测试阶段使用数据增强。KD表示知识蒸馏，SS表示自我监督，MTL表示多任务学习

方法	会议	类型	骨干网络	PT	FT	DA	KD	SS	MTL	mini-ImageNet 1-shot	mini-ImageNet 5-shot	可用代码
P>M>F 100	CVPR’22	微调 (Fine-tuning)	ViT	✓	✓	✓				95.3%	98.4%	✓
SOT 220	CVPR’22	微调	ResNet-12	✓	✓		✓	✓		85.59%	91.34%	✓
ESFR 221	PMLR’21	嵌入 (Embedding)	ResNet-18	✓	✓		✓	✓		85.59%	91.34%	✓
Multi-Task Learning 222	PMLR’21	微调	ResNet-12	✓	✓				✓	59.84%	77.72%	✓
RS-FSL 223	BMVC’21	多模态 (Multimodality)	Transformer	✓	✓	✓	✓	✓		65.33%	-	✓
Invariance-Equivariance 224	CVPR’21	嵌入	ResNet-12	✓	✓	✓				67.28%	84.78%
EFSL 225	Arxiv’21	嵌入	ResNet-12	✓	✓		✓	✓		73.35%	82.51%	✓
MATANet 226	Arxiv’21	度量 (Metric)	Conv-64F	✓	✓		✓			53.63%	72.67%
SSL-FEW 227	ICASSP’21	嵌入	AmdimNet	✓	✓		✓	✓		76.82%	90.98%	✓
MCRNET 228	ICPR’21	元学习 (Meta)	ResNet-12	✓	✓					62.53%	80.34%	✓
MTUNet 229	CVPR’21	度量	ResNet-18	✓	✓			✓		55.03%	56.12%
Self-Organizing Map 230	NIPS’20	迁移学习 (Transfer Learning)	WRN	✓	✓		✓			71.5%	82.2%	✓
RCN 231	Arxiv’20	度量	ResNet-12	✓	✓					57.40%	75.19%
RFS-distill 95	ECCV’20	嵌入 (Embedding)	ResNet-12	✓	✓			✓		63.27%	80.46%	✓
LaplacianShot 232	ICML’20	度量	ResNet-18	✓	✓	✓				75.57%	84.72%
Transductive CNAPS 233	WACV’20	元学习 (Meta)	ResNet-18	✓	✓					79.9%	91.5%	✓
SKD 96	Arxiv’20	嵌入	ResNet-12	✓	✓		✓			67.04%	83.54%	✓
PT-MAP 234	ICANN’20	度量	WRN	✓	✓	✓				82.92%	88.82%	✓
TRAML 178	CVPR’20	度量	ResNet-12	✓	✓					67.10%	79.54%
SIB 235	ICLR’20	元学习	WRN	✓	✓					70.0%	79.2%	✓
ICI 64	CVPR’20	嵌入	ResNet-12	✓	✓	✓				69.66%	80.11%	✓
EPNet 181	ECCV’20	嵌入	WRN	✓	✓	✓				-	88.05%	✓
SImPa 236	IEEE’20	元学习	4-block CNN	✓	✓		✓			52.11%	63.87%	✓
MetaFun 237	ICML’20	元学习	ResNets	✓	✓			✓		64.13%	80.82%	✓
TaskLevelAug 238	Arxiv’20	元学习	ResNet-12	✓	✓					65.38%	82.13%	✓
DKT 146	NIPS’20	元学习	贝叶斯模型 (Bayesian model)	✓	✓		✓			62.96%	64%	✓
S2M2R 239	WACV’20	嵌入	ResNet-18	✓	✓	✓		✓		64.93%	83.18%
LST 65	NIPS’19	元学习	ResNet-12	✓	✓	✓				70.1%	78.7%	✓
TapNet 240	PMLR’19	元学习	ResNet-12	✓	✓	✓		✓		61.65%	76.36%	✓
EGNN 197	CVPR’19	度量	GNN	✓	✓	✓		✓		-	76.37%	✓
ACC 241	Arxiv’19	迁移学习 (Transfer Learning)	ResNets	✓	✓	✓				62.21%	80.75%	✓
feat 242	CVPR’20	嵌入	ResNet-18	✓	✓	✓		✓		61.72%	78.38%	✓
DN4 243	CVPR’19	元学习	Conv-64	✓	✓			✓		51.24%	71.02%	✓
MC2 244	NIPS’19	元学习	WRN	✓	✓	✓		✓		55.73%	70.33%	✓

7.2 少样本目标检测

  传统的目标检测主要关注于使用强大的预训练骨干网络来提取特征。然而，除了骨干网络之外，其他检测器组件（例如检测头和特征金字塔网络）仍然是随机初始化的。在FSL目标检测中，大部分工作基于对原始模型的改进，例如Faster R-CNN²⁴⁵和YOLO²⁴⁶。在最近的一篇论文²⁴⁷中，使用视觉Transformer作为骨干网络，并将解码器嵌入检测头，同时从特征提取器中移除金字塔特征网络，无需任何额外条件。表13和图17展示了FSL目标检测的最新进展。

表13. MS COCO物体检测最新技术的概述，包含一些特殊技巧。PT表示预训练，FT表示微调，DA表示在训练阶段或测试阶段使用数据增强，AT表示注意力技术，SS表示自我监督，MTL表示多任务学习。

方法	会议	骨干网络	类型	PT	FT	DA	AT	SS	MTL	MS COCO 10-shot	MS COCO 30-shot	可用代码
imTED+ViT-B 247	Arxiv’22	ViT	迁移学习 (Transfer learning)	✓	✓	✓	✓		✓	22.5AP	30.2AP
Meta-DETR 19	Arxiv’22	ResNet-101	元学习 (Meta)	✓	✓	✓	✓	✓	✓	17.8AP	22.9AP	✓
FSCE 248	CVPR’21	ResNet-101	迁移学习	✓	✓	✓	✓	✓		15.3AP	13.1AP	✓
SSR-FSD 249	CVPR’21	ResNet-101	多模态 (Multimodality)	✓	✓	✓		✓	✓	13.1AP	14.7AP	✓
FsDetView 250	ECCV’20	R-CNN	元学习	✓	✓	✓		✓	✓	12.5AP	14.7AP	✓
MPSR 251	ECCV’20	ResNet-101	嵌入 (Embedding)	✓	✓	✓		✓	✓	9.8AP	14.1AP	✓
TFA 252	ICML’20	Resnet-101	迁移学习	✓	✓	✓		✓		10AP	13.7AP	✓
Meta R-CNN 253	ICCV’19	R-CNN	元学习	✓	✓	✓		✓	✓	-	12.4AP	✓
MetaDet 254	ICCV’19	VGG16	元学习	✓	✓	✓		✓	✓	7.1AP	11.3AP

7.3 少样本语义分割

  据我们所知，少样本语义分割最早在2017年被提出²⁵⁵，并被广泛应用于医学图像和无人驾驶汽车。与传统语义分割相比，少样本语义分割在支持数据集上的像素标注更少。少样本语义分割可以大致分为有监督语义分割、无监督语义分割和视频语义分割。在机器学习领域，经典方法是使用概率映射作为先验知识进行推导。最近，²⁵⁶通过提出一种简洁的范式，对少样本语义分割进行了显著改进，其中仅分类器进行元学习，特征编码解码器则仍然使用传统分割模型进行训练。表14和图18展示了FSL语义分割发展的主要进展。

表14. COCO-20i语义分割最新技术的概述，包含一些特殊技巧。PT表示预训练，FT表示微调，DA表示在训练阶段或测试阶段使用数据增强，AT表示注意力技术

方法	会议	骨干网络	类型	PT	FT	DA	AT	COCO-20i (MPA50) 1-shot	COCO-20i (MPA50) 5-shot	可用代码
MSANet 25	Arxiv’22	ResNet-101	度量 (Metric)	✓	✓	✓	✓	69.13	73.99	✓
CyCTR 257	NIPS’21	ResNet-50	度量	✓	✓	✓	✓	64.3	66.6
HSNet 258	ICCV’21	ResNet-50	度量	✓	✓	✓	✓	66.2	70.4
RPMM 259	ECCV’20	ResNet-50	度量	✓	✓	✓	✓	56.3	-
SVF 260	Arxiv’22	ResNet-50	迁移学习 (Transfer learning)	✓	✓	✓	✓	60.8	-	✓
PPNet 261	ECCV’20	ResNet-50	度量	✓	✓	✓	✓	51.5	62.0	✓
FWB 262	ICCV’19	ResNet-101	度量	✓	✓	✓	✓	56.2	59.9	✓
PANet 186	ICCV’19	VGG16	度量	✓	✓	✓	✓	48.1	55.7	✓
CANet 263	CVPR’19	ResNet	度量	✓	✓	✓	✓	55.4	57.1	✓

7.4 少样本实例分割

  与语义分割相比，FSL实例分割不仅需要识别图像中的每个像素，还需要标注相应的像素。最近，关于实例的少样本分割的研究相对较少。此外，一些工作展示了如何使用一些有效的模块改进RCNNs。最具代表性的工作是²⁶⁴，它提出了一种增量少样本实例分割算法，极大地提高了基准数据集的性能。表15和图19展示了2019年至2021年少样本实例分割的研究进展。

表15. COCO-20i实例分割最新技术的概述，包含一些特殊技巧。PT表示预训练，FT表示微调，DA表示在训练阶段或测试阶段使用数据增强，AT表示注意力技术，SS表示自我监督，MTL表示多任务学习

方法	会议	骨干网络	类型	PT	FT	DA	AT	SS	MTL	COCO-20i 1-shot	COCO-20i 5-shot	可用代码
iMTFA 264	CVPR’21	R-CNN	度量	✓	✓	✓	✓	✓	✓	20.13	18.22	✓
FAPIS 265	CVPR’21	ResNet-50	度量	✓	✓	✓			✓	16.3	18.2
FGN 266	CVPR’20	ResNet-101	元学习	✓	✓		✓		✓	16.2	-
SG-One 267	IEEE’20	VGG-16	度量	✓	✓	✓		✓	✓	14.8	-
Siamese Mask R-CNN 268	Arxiv’18	ResNet-50	度量	✓	✓	✓			✓	14.5	-

8 FSL的未来方向与机遇

  在大量工作推动FSL在各种任务设置中取得进展的同时，更具挑战性的场景也出现了。例如，训练和验证数据集都稀缺，没有可用的外部数据，也没有相似领域的训练任务或验证数据集。在元学习中，可能没有足够的任务来初始化模型参数，而多模态学习则面临明显的模态排序问题。根据分类法，我们针对每个层次提出了若干可能的未来研究方向。

8.1 更好地评估数据分布

  机器学习很难从极少量样本中训练出具有出色泛化能力的模型。如果算法在具有偏差的数据上进行训练，将破坏模型的泛化能力。Yang等人¹²在这个方向上进行了首次有意义的尝试。他们假设基础类数据和新类数据共享正态分布。通过计算基础类的均值和方差，这些值可以转移到新类。如果该假设足够准确，它在一定程度上可以弥合FSL与传统机器学习之间的差距。然而，这仍然是对数据分布的相对严格的假设。如果基础类和新类之间存在较大的差距，则需要利用一些辅助模块（如关系网络）来探索足够复杂的校正规则。在未来，这将是一个激动人心的方向，考虑放宽假设并探索更多的泛化方法。

  另一个问题是主流的FSL基准数据集或多或少存在一些问题。例如，mini-Imagenet数据集包含了一些不适合模型评估的样本，如实体遮挡和多对象。然而，其他简单的数据集，如Omniglot、cifar10、cifar100等，已经得到了很大程度的解决。FSL需要更具挑战性的数据集，如BSCD-FSL²²。同样，自然语言处理和多模态领域也期待更多与研究热点和应用紧密结合的基准数据集，如FEWCLUE和FEWGlue。但直到现在，还没有一个基准数据集能够在细粒度和全场景水平上评估模型的泛化能力。

8.2 改进数据到标签映射的鲁棒性

  BSCD-FSL²²基准的出现给FSL带来了新的挑战。它探索并揭示了当前FSL在跨领域学习方面的局限性。最近的研究中，设计精巧的模型、更复杂的超参数调优、额外的辅助数据集，以及对FSL有效的领域无关特征提取都被提出。目前，微调在迁移学习和元学习的交叉领域表现得非常稳健。预训练可以看作是对许多类别任务的学习，是单任务学习。而元学习则是一种多任务学习方法。探索是否存在更好的模型，能够集成元学习和微调，以在最大化模型性能的同时减少元学习过程中的计算复杂性，值得探讨。

  目前，特征层在参数空间优化方面仍有很大的潜力。P > M > F¹⁰⁰探索了一个简单的流程，包括预训练、元学习和微调。它在mini-Imagenet上的FSL分类任务中达到了最新水平。后续工作继续尝试替换预训练骨干网，在微调中添加各种技巧，或者引入多任务学习以充分发挥微调和元学习的性能。

8.3 更有效地从历史任务中学习元知识

  元学习是一个非常通用的概念。将元学习与其他方法结合起来可以进一步提高FSL任务的性能。然而，元学习受限于定义的网络结构下的特定任务空间。在分类任务的情况下，目前仅考虑相关的分类任务。是否存在一种框架可以同时考虑分类、检测、预测和生成任务？这将使元学习在一定程度上摆脱任务概念的束缚。最近的工作尝试将每个批次作为一个整体进行优化。在这种情况下，如何优化内部循环将是一个重要的方向。未来，元学习与微调的结合将成为解决FSL的主流算法。

  需要注意的是，元学习仍在探索任务之间的相关性。目前还没有相关理论解释元学习背后的因果关系。未来，随着因果理论框架的发展，元学习可能趋向于成为一个更通用的框架。

8.4 多模态信息的全面融合

  多模态学习目前是一种解决FSL问题的新兴方法，它能够在没有监督标签的情况下从边缘场景中自动学习异构数据，并快速转移到不同的下游任务。多模态学习被广泛认为是从有限领域的弱人工智能到通用人工智能的一种探索。多模态FSL的出现将FSL带入了预训练多模态模型+小样本微调的时代。在技术层面上，具有足够参数数量的预训练多模态模型可以在推广方面解决任何下游任务。在这一阶段，鼓励研究人员尝试更多模态融合学习，如语音和视频。另一个方向是，在融合多种信息的情况下，如何量化每种信息的重要性，以便在训练阶段获得不同的权重。

9 结论

  作为机器学习的重要分支，少样本学习无需大量数据，而是选择灵活的方法来解决问题。通过利用不同抽象层次的先验知识，大量工作涌现出来，试图解决FSL问题。在此背景下，我们以问答的形式对FSL进行了全面综述，易于区分混淆概念，并总结了FSL下丰富的基准数据集。此外，我们根据新的分类法，对FSL演化中的挑战提供了独特的见解。相关研究方法根据每个层次先验知识的整合程度进行了深入分析。此外，为了完整阐述，我们还比较和分析了FSL在计算机视觉领域的最新进展。最后，我们根据最近的大量文献，列出了一些可能的未来研究方向和机遇。总体而言，本综述对过去三年FSL的前沿进展进行了全面总结，期望能够推动FSL及其相关领域的协同发展。

---

1. Wenbo Zheng, Lan Yan, Chao Gou, and Fei-Yue Wang. 2021. Federated meta-learning for fraudulent credit card detection. In Proceedingsof the Twenty-Ninth International Conference on International Joint Conferences on Artiicial Intelligence. 4654-4660. ↩︎

2. Adrian El Baz, Ihsan Ullah, et al . 2022. Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone ine-tuning without episodic meta-learning dominates for few-shot learning image classiication. In NeurIPS 2021 Competitions and Demonstrations Track. PMLR, 80-96. ↩︎

3. Yutai Hou, Xinghao Wang, Cheng Chen, Bohan Li, Wanxiang Che, and Zhigang Chen. 2022. FewJoint: few-shot learning for joint dialogue understanding. International Journal of Machine Learning and Cybernetics (2022), 1-15. ↩︎

4. Huimin Sun, Jiajie Xu, Kai Zheng, Pengpeng Zhao, Pingfu Chao, and Xiaofang Zhou. 2021. MFNP: A Meta-optimized Model for Few-shot Next POI Recommendation… In IJCAI. 3017-3023. ↩︎

5. Elahe Rahimian, Soheil Zabihi, Amir Asif, S Farokh Atashzar, and Arash Mohammadi. 2021. Few-Shot learning for decoding surface electromyography for hand gesture recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing . IEEE, 1300-1304. ↩︎

6. Yaqing Wang, Quanming Yao, James T Kwok, and Lionel M Ni. 2020. Generalizing from a few examples: A survey on few-shot learning.ACM Computing Surveys (CSUR) 53, 3 (2020), 1-34. ↩︎ ↩︎ ↩︎

7. Jun Shu, Zongben Xu, and Deyu Meng. 2018. Small sample learning in big data era. arXiv preprint arXiv:1808.04572 (2018). ↩︎

8. Jiang Lu, Pinghua Gong, Jieping Ye, and Changshui Zhang. 2020. Learning from very few samples: A survey. arXiv preprintarXiv:2009.02653 (2020). ↩︎

9. Endel Tulving. 1985. How many memory systems are there ? American psychologist 40, 4 (1985), 385. ↩︎

10. Biqi Wang, Yang Xu, Zebin Wu, Tianming Zhan, and Zhihui Wei. 2022. Spatial-Spectral Local Domain Adaption for Cross Domain Few Shot Hyperspectral Images Classiication. IEEE Trans. Geosci. Remote. Sens. 60 (2022), 1-15. DOI:http://dx.doi.org/10.1109/TGRS.2022.3208897 ↩︎

11. Luiz F. O. Chamon and Alejandro Ribeiro. 2020. Probably Approximately Correct Constrained Learning. In Advances in NeuralInformation Processing Systems 33: Annual Conference on Neural Information Processing Systems, NeurIPS 2020, December 6-12, 2020.https://proceedings.neurips.cc/paper/2020/hash/c291b01517f3e6797c774c306591cc32-Abstract.html ↩︎

12. Shuo Yang, Lu Liu, and Min Xu. 2021. Free Lunch for Few-shot Learning: Distribution Calibration. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net. https://openreview.net/forum?id=JWOiYxMG92s ↩︎ ↩︎ ↩︎ ↩︎

13. Atsushi Suzuki, Atsushi Nitanda, Jing Wang, Linchuan Xu, Kenji Yamanishi, and Marc Cavazza. 2021. Generalization Error Bound for Hyperbolic Ordinal Embedding. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139. PMLR, 10011-10021. http://proceedings.mlr.press/v139/suzuki21a.html ↩︎

14. Tianshi Cao, Marc T. Law, and Sanja Fidler. 2020. A Theoretical Analysis of the Number of Shots in Few-Shot Learning. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net. https://openreview.net/forum?id=HkgB2TNYPS ↩︎

15. Yongqin Xian, Tobias Lorenz, Bernt Schiele, and Zeynep Akata. 2018. Feature generating networks for zero-shot learning. In Proceedings of the IEEE conference on computer vision and pattern recognition. 5542-5551. ↩︎

16. Muhammad Ferjad Naeem, Yongqin Xian, Federico Tombari, and Zeynep Akata. 2021. Learning graph embeddings for compositional zero-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 953-962. ↩︎

17. Joaquin Vanschoren. 2018. Meta-Learning: A Survey. arXiv e-prints (2018), arXiv-1810. ↩︎

18. Kevin Li, Abhishek Gupta, Ashwin Reddy, Vitchyr H Pong, Aurick Zhou, Justin Yu, and Sergey Levine. 2021. MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning. In International Conference on Machine Learning. PMLR, 6346-6356. ↩︎

19. Gongjie Zhang, Zhipeng Luo, Kaiwen Cui, Shijian Lu, and Eric P. Xing. 2022. Meta-DETR: Image-Level Few-Shot Detection with Inter-Class Correlation Exploitation. IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). DOI:http://dx.doi.org/10.1109/TPAMI.2022.3195735 ↩︎ ↩︎

20. Meng Cheng, Hanli Wang, and Yu Long. 2021. Meta-Learning Based Incremental Few-Shot Object Detection. IEEE Transactions on Circuits and Systems for Video Technology (2021). ↩︎

21. Eleni Triantaillou, Tyler Zhu, Vincent Dumoulin, Pascal Lamblin, Utku Evci, Kelvin Xu, Ross Goroshin, Carles Gelada, Kevin Swersky, Pierre-Antoine Manzagol, and Hugo Larochelle. 2020. Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net. https://openreview.net/forum?id=rkgAGAVKPr ↩︎ ↩︎

22. Yunhui Guo, Noel C Codella, Leonid Karlinsky, James V Codella, John R Smith, Kate Saenko, Tajana Rosing, and Rogerio Feris. 2020. A broader study of cross-domain few-shot learning. In European Conference on Computer Vision. Springer, 124-141. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

23. Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Daan Wierstra, et al . 2016. Matching networks for one shot learning. Advances in neural information processing systems 29 (2016), 3630-3638. ↩︎ ↩︎ ↩︎ ↩︎

24. Technical Report. ↩︎ ↩︎ ↩︎ ↩︎

25. Ehtesham Iqbal, Sirojbek Safarov, and Seongdeok Bang. 2022. MSANet: Multi-Similarity and Attention Guidance for Boosting Few-Shot Segmentation. arXiv preprint arXiv:2206.09667 (2022). ↩︎ ↩︎

26. Alex Krizhevsky, Geofrey Hinton, et al. 2009. Learning multiple layers of features from tiny images. (2009). ↩︎

27. Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. 2009. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition. Ieee, 248-255. ↩︎ ↩︎

28. Mengye Ren, Eleni Triantaillou, Sachin Ravi, Jake Snell, Kevin Swersky, Joshua B Tenenbaum, Hugo Larochelle, and Richard S Zemel. Meta-Learning for Semi-Supervised Few-Shot Classiication. Training 1, 2 ([n. d.]), 3. ↩︎

29. Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. 2015. Imagenet large scale visual recognition challenge. International journal of computer vision 115, 3 (2015), 211-252. ↩︎

30. Brenden M Lake, Ruslan Salakhutdinov, and Joshua B Tenenbaum. 2019. The Omniglot challenge: a 3-year progress report. Current Opinion in Behavioral Sciences 29 (2019), 97-104. ↩︎

31. Subhransu Maji, Esa Rahtu, Juho Kannala, Matthew Blaschko, and Andrea Vedaldi. 2013. Fine-grained visual classification of aircraft. arXiv preprint arXiv:1306.5151 (2013). ↩︎

32. Mircea Cimpoi, Subhransu Maji, Iasonas Kokkinos, Sammy Mohamed, and Andrea Vedaldi. 2014. Describing textures in the wild. In Proceedings of the IEEE conference on computer vision and pattern recognition. 3606-3613. ↩︎

33. Lukáš Picek, Milan Šulc, Jiří Matas, et al . 2022. Danish fungi 2020-not just another image recognition dataset. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 1525-1535. ↩︎

34. D. Temel, M. Chen, and G. AlRegib. 2019. Traic Sign Detection Under Challenging Conditions: A Deeper Look into Performance Variations and Spectral Characteristics. IEEE Transactions on Intelligent Transportation Systems (2019), 1-11. DOI:http://dx.doi.org/10.1109/TITS.2019.2931429 ↩︎

35. Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. 2014. Microsoft coco: Common objects in context. In European conference on computer vision. Springer, 740-755. ↩︎

36. Patrick Helber, Benjamin Bischke, Andreas Dengel, and Damian Borth. 2019. Eurosat: A novel dataset and deep learning benchmark for land use and land cover classiication. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (2019). ↩︎ ↩︎

37. Noel Codella, Veronica Rotemberg, Philipp Tschandl, et al. 2019. Skin lesion analysis toward melanoma detection 2018: A challenge hosted by the international skin imaging collaboration (isic). arXiv preprint arXiv:1902.03368 (2019). ↩︎ ↩︎

38. Xiaosong Wang, Yifan Peng, Le Lu, et al. 2017. Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classiication and localization of common thorax diseases. In Proceedings of the IEEE CVPR. 2097-2106. ↩︎ ↩︎

39. Yanan Zheng, Jing Zhou, Yujie Qian, Ming Ding, Chonghua Liao, Li Jian, Ruslan Salakhutdinov, Jie Tang, Sebastian Ruder, and Zhilin Yang. 2022. FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, Dublin, Ireland, May 22-27, 2022. Association for Computational Linguistics, 501-516. DOI:http://dx.doi.org/10.18653/v1/2022.acl-long.38 ↩︎ ↩︎

40. T. Schick and H. Schütze. 2020. It’s not just size that matters: Small language models are also few-shot learners. arXiv preprint arXiv:2009.07118 (2020). ↩︎

41. Liang Xu, Xiaojing Lu, Chenyang Yuan, Xuanwei Zhang, Huilin Xu, Hu Yuan, Guoao Wei, Xiang Pan, Xin Tian, Libo Qin, et al . 2021. Fewclue: A chinese few-shot learning evaluation benchmark. arXiv preprint arXiv:2107.07498 (2021). ↩︎ ↩︎ ↩︎

42. Patrizio Bellan, Han van der Aa, Mauro Dragoni, Chiara Ghidini, and Simone Paolo Ponzetto. 2022. PET: A new Dataset for Process Extraction from Natural Language Text. arXiv e-prints (2022), arXiv-2203. ↩︎

43. Jingyi Xu and Hieu Le. 2022. Generating Representative Samples for Few-Shot Classiication. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9003-9013. ↩︎ ↩︎ ↩︎ ↩︎

44. Jingyi Xu, Hieu Le, Mingzhen Huang, ShahRukh Athar, and Dimitris Samaras. 2021. Variational feature disentangling for ine-grained few-shot classiication. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8812-8821. ↩︎ ↩︎ ↩︎

45. Jiawei Yang, Hanbo Chen, Jiangpeng Yan, Xiaoyu Chen, and Jianhua Yao. 2022. Towards better understanding and better generalization of few-shot classiication in histology images with contrastive learning. arXiv preprint arXiv:2202.09059 (2022). ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

46. Cheng Perng Phoo and Bharath Hariharan. 2021. Self-training For Few-shot Transfer Across Extreme Task Diferences. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net. https://openreview.net/forum?id=O3Y56aqpChA ↩︎ ↩︎ ↩︎

47. Michalis Lazarou, Tania Stathaki, and Yannis Avrithis. 2021. Iterative label cleaning for transductive and semi-supervised few-shot learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8751-8760. ↩︎ ↩︎ ↩︎

48. Jie Ling, Lei Liao, Meng Yang, and Jia Shuai. 2022. Semi-Supervised Few-Shot Learning via Multi-Factor Clustering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 14564-14573. ↩︎ ↩︎ ↩︎

49. Yufei Wang, Can Xu, Qingfeng Sun, Huang Hu, Chongyang Tao, Xiubo Geng, and Daxin Jiang. 2022. PromDA: Prompt-based Data Augmentation for Low-Resource NLU Tasks. arXiv preprint arXiv:2202.12499 (2022). ↩︎

50. Ibrahim Aksu, Zhengyuan Liu, Min-Yen Kan, and Nancy Chen. 2022. N-Shot Learning for Augmenting Task-Oriented Dialogue State Tracking. In Findings of the Association for Computational Linguistics: ACL 2022. 1659-1671. ↩︎ ↩︎

51. Hang Qi, Matthew Brown, and David G Lowe. 2018. Low-shot learning with imprinted weights. In Proceedings of the IEEE conference on computer vision and pattern recognition. 5822-5830. ↩︎

52. Ekin D Cubuk, Barret Zoph, Dandelion Mane, Vijay Vasudevan, and Quoc V Le. 2018. Autoaugment: Learning augmentation policies from data. arXiv preprint arXiv:1805.09501 (2018). ↩︎ ↩︎

53. Jason W. Wei and Kai Zou. 2019. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classiication Tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019. Association for Computational Linguistics, 6381-6387. DOI:http://dx.doi.org/10.18653/v1/D19-1670 ↩︎ ↩︎

54. Zitian Chen, Yanwei Fu, Yu-Xiong Wang, et al. 2019. Image deformation meta-networks for one-shot learning. In Proceedings of the IEEE/CVF CVPR. 8680-8689. ↩︎ ↩︎ ↩︎

55. Junjie Li, Zilei Wang, and Xiaoming Hu. 2021. Learning Intact Features by Erasing-Inpainting for Few-shot Classiication. In Proceedings of the AAAI Conference on Artiicial Intelligence, Vol. 35. 8401-8409. ↩︎ ↩︎ ↩︎

56. Yuhang Huang, Fangle Chang, Yu Tao, Yangfan Zhao, Longhua Ma, and Hongye Su. 2022. Few-shot learning based on Attn-CutMix and task-adaptive transformer for the recognition of cotton growth state. Comput. Electron. Agric. 202 (2022), 107406. DOI:http://dx.doi.org/10.1016/j.compag.2022.107406 ↩︎

57. Erik G Miller, Nicholas E Matsakis, and Paul A Viola. 2000. Learning from one example through shared densities on transforms. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000 (Cat. No. PR00662), Vol. 1. IEEE, 464-471. ↩︎ ↩︎

58. Bharath Hariharan and Ross Girshick. 2017. Low-shot visual recognition by shrinking and hallucinating features. In Proceedings of the IEEE international conference on computer vision. 3018-3027. ↩︎ ↩︎

59. Amy Zhao, Guha Balakrishnan, Fredo Durand, John V Guttag, and Adrian V Dalca. 2019. Data augmentation using learned transformations for one-shot medical image segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 8543-8553. ↩︎ ↩︎

60. Roland Kwitt, Sebastian Hegenbart, and Marc Niethammer. 2016. One-shot learning of scene locations via feature trajectory transfer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 78-86. ↩︎ ↩︎

61. Jing Zhou, Yanan Zheng, Jie Tang, Li Jian, and Zhilin Yang. 2022. FlipDA: Efective and Robust Data Augmentation for Few-Shot Learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 8646-8665. DOI:http://dx.doi.org/10.18653/v1/2022.acl-long.592 ↩︎

62. Tomas Pister, James Charles, and Andrew Zisserman. 2014. Domain-adaptive discriminative one-shot learning of gestures. In European Conference on Computer Vision. Springer, 814-829. ↩︎ ↩︎

63. Yu Wu, Yutian Lin, Xuanyi Dong, Yan Yan, Wanli Ouyang, and Yi Yang. 2018. Exploit the unknown gradually: One-shot video-based person re-identiication by stepwise learning. In Proceedings of the IEEE conference on computer vision and pattern recognition. 5177-5186. ↩︎ ↩︎

64. Yikai Wang, Chengming Xu, Chen Liu, Li Zhang, and Yanwei Fu. 2020. Instance credibility inference for few-shot learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 12836-12845. ↩︎ ↩︎

65. Xinzhe Li, Qianru Sun, Yaoyao Liu, Qin Zhou, Shibao Zheng, Tat-Seng Chua, and Bernt Schiele. 2019. Learning to self-train for semi-supervised few-shot classification. Advances in Neural Information Processing Systems 32 (2019), 10276-10286. ↩︎ ↩︎ ↩︎ ↩︎

66. Hang Gao, Zheng Shou, Alireza Zareian, Hanwang Zhang, and Shih-Fu Chang. 2018. Low-shot Learning via Covariance-Preserving Adversarial Augmentation Networks. In Annual Conference on Neural Information Processing Systems. 983-993. https://proceedings.neurips.cc/paper/2018/hash/81448138f5f163ccdba4acc69819f280-Abstract.html ↩︎ ↩︎

67. Jianhong Zhang, Manli Zhang, Zhiwu Lu, and Tao Xiang. 2021. Adargcn: Adaptive aggregation GCN for few-shot learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 3482-3491. ↩︎ ↩︎

68. Haofeng Zhang, Li Liu, Yang Long, Zheng Zhang, and Ling Shao. 2020. Deep transductive network for generalized zero shot learning. Pattern Recognit. 105 (2020), 107370. DOI:http://dx.doi.org/10.1016/j.patcog.2020.107370 ↩︎

69. Ashraful Islam, Chun-Fu Richard Chen, Rameswar Panda, Leonid Karlinsky, Rogerio Feris, and Richard J Radke. 2021. Dynamic distillation network for cross-domain few-shot recognition with unlabeled data. Advances in Neural Information Processing Systems 34 (2021), 3584-3595. ↩︎

70. Amit Alfassy, Leonid Karlinsky, Amit Aides, Joseph Shtok, Sivan Harary, Rogerio Feris, Raja Giryes, and Alex M Bronstein. 2019. Laso: Label-set operations networks for multi-label few-shot learning. In Proceedings of the IEEE/CVF CVPR. 6548-6557. ↩︎ ↩︎

71. Zhiyong Dai, Jianjun Yi, Lei Yan, Qingwen Xu, Liang Hu, Qi Zhang, Jiahui Li, and Guoqiang Wang. 2023. PFEMed: Few-shot medical image classification using prior guided feature enhancement. Pattern Recognit. 134 (2023), 109108. DOI:http://dx.doi.org/10.1016/j.patcog.2022.109108 ↩︎

72. Mengting Chen, Yuxin Fang, Xinggang Wang, Heng Luo, Yifeng Geng, Xinyu Zhang, Chang Huang, Wenyu Liu, and Bo Wang. 2020. Diversity transfer network for few-shot learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. 10559-10566. ↩︎ ↩︎ ↩︎

73. Kai Li, Yulun Zhang, Kunpeng Li, and Yun Fu. 2020. Adversarial feature hallucination networks for few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 13470-13479. ↩︎ ↩︎ ↩︎

74. Yao-Hung Hubert Tsai and Ruslan Salakhutdinov. 2017. Improving One-Shot Learning through Fusing Side Information. CoRR abs/1710.08347 (2017). arXiv:1710.08347 http://arxiv.org/abs/1710.08347 ↩︎

75. Matthijs Douze, Arthur Szlam, Bharath Hariharan, and Hervé Jégou. 2018. Low-shot learning with large-scale diffusion. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 3349-3358. ↩︎

76. Eli Schwartz, Leonid Karlinsky, Joseph Shtok, Sivan Harary, Mattias Marder, Abhishek Kumar, Rogério Schmidt Feris, Raja Giryes, and Alexander M. Bronstein. 2018. Delta-encoder: an effective sample synthesis method for few-shot object recognition. In Advances in Neural Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018. 2850-2860. https://proceedings.neurips.cc/paper/2018/hash/1714726c817af50457d810aae9d27a2e-Abstract.html ↩︎ ↩︎

77. Aoxue Li, Tiange Luo, Tao Xiang, Weiran Huang, and Liwei Wang. 2019. Few-shot learning with global class representations. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9715-9724. ↩︎ ↩︎

78. Tianyu Gao, Xu Han, Ruobing Xie, Zhiyuan Liu, Fen Lin, Leyu Lin, and Maosong Sun. 2020. Neural snowball for few-shot relation learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. 7772-7779. ↩︎

79. Wentao Cui and Yuhong Guo. 2021. Parameterless transductive feature re-representation for few-shot learning. In International Conference on Machine Learning. PMLR, 2212-2221. ↩︎ ↩︎

80. Cheng Perng Phoo and Bharath Hariharan. 2021. Coarsely-labeled data for better few-shot transfer. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9052-9061. ↩︎

81. Kai Huang, Jie Geng, Wen Jiang, Xinyang Deng, and Zhe Xu. 2021. Pseudo-loss confidence metric for semi-supervised few-shot learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8671-8680. ↩︎ ↩︎

82. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition. 770-778. ↩︎

83. Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. 2021. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net. https://openreview.net/forum?id=YicbFdNTTy ↩︎ ↩︎

84. Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. arXiv preprint arXiv:1802.05365 (2018). ↩︎

85. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019. Association for Computational Linguistics, 4171-4186. DOI:http://dx.doi.org/10.18653/v1/n19-1423 ↩︎ ↩︎ ↩︎ ↩︎

86. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018. Improving language understanding by generative pre-training. (2018). ↩︎ ↩︎ ↩︎

87. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander H. Miller. 2019. Language Models as Knowledge Bases?. In Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP. Association for Computational Linguistics, 2463-2473. DOI:http://dx.doi.org/10.18653/v1/D19-1250 ↩︎ ↩︎ ↩︎

88. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. Language models are few-shot learners. Advances in neural information processing systems 33 (2020), 1877-1901. ↩︎ ↩︎ ↩︎

89. Mark Chen, Alec Radford, Rewon Child, Jefrey Wu, Heewoo Jun, David Luan, and Ilya Sutskever. 2020. Generative pretraining from pixels. In International conference on machine learning. PMLR, 1691-1703. ↩︎

90. Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollar, and Ross Girshick. 2022. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 16000-16009. ↩︎

91. Nanxuan Zhao, Zhirong Wu, Rynson WH Lau, and Stephen Lin. 2020. What makes instance discrimination good for transfer learning? arXiv preprint arXiv:2006.06606 (2020). ↩︎

92. Wei-Yu Chen, Yen-Cheng Liu, Zsolt Kira, Yu-Chiang Frank Wang, and Jia-Bin Huang. 2019. A Closer Look at Few-shot Classification. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net. https://openreview.net/forum?id=HkxLXnAcFQ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

93. Zhiqiang Shen, Zechun Liu, Jie Qin, Marios Savvides, and Kwang-Ting Cheng. 2021. Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35. 9594-9602. ↩︎ ↩︎ ↩︎

94. Jaehoon Oh, Sungnyun Kim, Namgyu Ho, Jin-Hwa Kim, Hwanjun Song, and Se-Young Yun. 2022. ReFine: Re-randomization before Fine-tuning for Cross-domain Few-shot Learning. arXiv preprint arXiv:2205.05282 (2022). ↩︎ ↩︎

95. Yonglong Tian, Yue Wang, Dilip Krishnan, Joshua B Tenenbaum, and Phillip Isola. 2020. Rethinking few-shot image classification: a good embedding is all you need?. In Computer Vision - ECCV 2020: 16th European Conference, Proceedings, Part XIV 16. Springer, 266-282. ↩︎ ↩︎ ↩︎ ↩︎

96. Jathushan Rajasegaran, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, and Mubarak Shah. 2021. Self-supervised Knowledge Distillation for Few-shot Learning. In 32nd British Machine Vision Conference 2021, BMVC 2021, Online, November 22-25, 2021. BMVA Press, 179. https://www.bmvc2021-virtualconference.com/assets/papers/0820.pdf ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

97. Carl Doersch, Ankush Gupta, and Andrew Zisserman. 2020. CrossTransformers: spatially-aware few-shot transfer. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems, NeurIPS 2020, December 6-12. https://proceedings.neurips.cc/paper/2020/hash/fa28c6cdf8dd6f41a657c3d7caa5c709-Abstract.html ↩︎ ↩︎ ↩︎

98. Ruibing Hou, Hong Chang, Bingpeng Ma, Shiguang Shan, and Xilin Chen. 2019. Cross attention network for few-shot classification. Advances in Neural Information Processing Systems 32 (2019). ↩︎ ↩︎ ↩︎

99. Xilang Huang and Seon Han Choi. 2023. SAPENet: Self-Attention based Prototype Enhancement Network for Few-shot Learning. Pattern Recognit. 135 (2023), 109170. DOI:http://dx.doi.org/10.1016/j.patcog.2022.109170 ↩︎

100. Shell Xu Hu, Da Li, Jan Stühmer, et al. 2022. Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9068-9077. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

101. Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. 2019. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In 7th International Conference on Learning Representations, ICLR. OpenReview.net. https://openreview.net/forum?id=rJ4km2R5t7 ↩︎ ↩︎

102. Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 2016. SQuAD: 100, 000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. ACL, 2383-2392. DOI:http://dx.doi.org/10.18653/v1/d16-1264 ↩︎ ↩︎

103. Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, and Yoav Artzi. 2021. Revisiting Few-sample BERT Fine-tuning. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net. https://openreview.net/forum?id=cO1IH43yUF ↩︎ ↩︎

104. Jieh-Sheng Lee and Jieh Hsiang. 2020. Patent claim generation by fine-tuning OpenAI GPT-2. World Patent Information 62 (2020), 101983. ↩︎ ↩︎

105. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. Advances in neural information processing systems 30 (2017). ↩︎

106. Xu Luo, Longhui Wei, Liangjian Wen, Jinrong Yang, Lingxi Xie, Zenglin Xu, and Qi Tian. 2021. Rectifying the shortcut learning of background for few-shot learning. Advances in Neural Information Processing Systems 34 (2021), 13073-13085. ↩︎ ↩︎

107. Leyang Cui, Yu Wu, Jian Liu, Sen Yang, and Yue Zhang. 2021. Template-Based Named Entity Recognition Using BART. In Findings of the Association for Computational Linguistics: ACL/IJCNLP (Findings of ACL). Association for Computational Linguistics, 1835-1845. DOI:http://dx.doi.org/10.18653/v1/2021.findings-acl.161 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

108. Xiang Lisa Li and Percy Liang. 2021. Preix-Tuning: Optimizing Continuous Prompts for Generation. In Proceedings of the Annual Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing. ACL, 4582-4597. DOI:http://dx.doi.org/10.18653/v1/2021.acl-long.353 ↩︎ ↩︎ ↩︎

109. Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Haitao Zheng, and Maosong Sun. 2022. OpenPrompt: An Open-source Framework for Prompt-learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, ACL 2022 - System Demonstrations. Association for Computational Linguistics, 105-113. DOI:http://dx.doi.org/10.18653/v1/2022.acl-demo.10 ↩︎

110. Brian Lester, Rami Al-Rfou, and Noah Constant. 2021. The Power of Scale for Parameter-Efficient Prompt Tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021. Association for Computational Linguistics, 3045-3059. DOI:http://dx.doi.org/10.18653/v1/2021.emnlp-main.243 ↩︎ ↩︎

111. Fabio Petroni, Tim Rocktäschel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H Miller, and Sebastian Riedel. 2019. Language models as knowledge bases? arXiv preprint arXiv:1909.01066 (2019). ↩︎

112. Timo Schick and Hinrich Schütze. 2021. Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics. ACL, 255-269. DOI:http://dx.doi.org/10.18653/v1/2021.eacl-main.20 ↩︎

113. Zhengbao Jiang, Frank F Xu, Jun Araki, and Graham Neubig. 2020. How can we know what language models know? Transactions of the Association for Computational Linguistics 8 (2020), 423-438. ↩︎ ↩︎

114. T. Shin, Y. Razeghi, R. L. Logan IV, E. Wallace, and S. Singh. 2020. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the Conference on Empirical Methods in Natural Language Processing. ACL, 4222-4235. DOI:http://dx.doi.org/10.18653/v1/2020.emnlp-main.346 ↩︎ ↩︎

115. Tianyu Gao, Adam Fisch, and Danqi Chen. 2021. Making Pre-trained Language Models Better Few-shot Learners. In Proceedings of the Annual Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing. 3816-3830. DOI:http://dx.doi.org/10.18653/v1/2021.acl-long.295 ↩︎ ↩︎

116. Ziyun Xu, Chengyu Wang, Minghui Qiu, Fuli Luo, Runxin Xu, Songfang Huang, and Jun Huang. 2022. Making pre-trained language models end-to-end few-shot learners with contrastive prompt tuning. arXiv preprint arXiv:2204.00166 (2022). ↩︎ ↩︎

117. Zexuan Zhong, Dan Friedman, and Danqi Chen. 2021. Factual probing is [MASK]: Learning vs. learning to recall. arXiv preprint arXiv:2104.05240 (2021). ↩︎ ↩︎

118. Xiao Liu, Yanan Zheng, Zhengxiao Du, et al. 2021. GPT understands, too. arXiv preprint arXiv:2103.10385 (2021). ↩︎ ↩︎

119. Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang. 2022. PPT: Pre-trained Prompt Tuning for Few-shot Learning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 8410-8423. DOI:http://dx.doi.org/10.18653/v1/2022.acl-long.576 ↩︎ ↩︎

120. Wang Yan, Jordan Yap, and Greg Mori. 2015. Multi-task transfer methods to improve one-shot learning for multimedia event detection. In BMVC. 37-1. ↩︎

121. Saeid Motiian, Quinn Jones, Seyed Iranmanesh, and Gianfranco Doretto. 2017. Few-shot adversarial domain adaptation. Advances in neural information processing systems 30 (2017). ↩︎

122. Sagie Benaim and Lior Wolf. 2018. One-shot unsupervised cross domain translation. Advances in neural information processing systems 31 (2018). ↩︎

123. Samaneh Azadi, Matthew Fisher, Vladimir G Kim, Zhaowen Wang, Eli Shechtman, and Trevor Darrell. 2018. Multi-content gan for few-shot font style transfer. In Proceedings of the IEEE conference on computer vision and pattern recognition. 7564-7573. ↩︎

124. Bo Liu, Xudong Wang, Mandar Dixit, Roland Kwitt, and Nuno Vasconcelos. 2018. Feature space transfer for data augmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition. 9090-9098. ↩︎

125. Zikun Hu, Xiang Li, Cunchao Tu, Zhiyuan Liu, and Maosong Sun. 2018. Few-shot charge prediction with discriminative legal attributes. In Proceedings of the 27th International Conference on Computational Linguistics. 487-498. ↩︎

126. Yabin Zhang, Hui Tang, and Kui Jia. 2018. Fine-grained visual categorization using meta-learning optimization with sample selection of auxiliary data. In Proceedings of the European Conference on Computer Vision (ECCV). 233-248. ↩︎

127. Spyros Gidaris, Andrei Bursuc, Nikos Komodakis, Patrick Pérez, and Matthieu Cord. 2019. Boosting few-shot visual learning with self-supervision. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8059-8068. ↩︎ ↩︎ ↩︎

128. R. Zhang, P. Isola, and A. A Efros. 2016. Colorful image colorization. In European Conference on Computer Vision. Springer, 649-666. ↩︎

129. Jong-Chyi Su, Subhransu Maji, and Bharath Hariharan. 2020. When does self-supervision improve few-shot learning? In European Conference on Computer Vision. Springer, 645-666. ↩︎

130. Zijun Li, Zhengping Hu, Weiwei Luo, and Xiao Hu. 2023. SaberNet: Self-attention based effective relation network for few-shot learning. Pattern Recognit. 133 (2023), 109024. DOI:http://dx.doi.org/10.1016/j.patcog.2022.109024 ↩︎

131. Rui Feng, Hongbing Ji, Zhigang Zhu, and Lei Wang. 2022. SelfNet: A semi-supervised local Fisher discriminant network for few-shot learning. Neurocomputing 512 (2022), 352-362. DOI:http://dx.doi.org/10.1016/j.neucom.2022.09.012 ↩︎

132. Zhengyu Chen, Jixie Ge, Heshen Zhan, Siteng Huang, and Donglin Wang. 2021. Pareto self-supervised training for few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 13663-13672. ↩︎ ↩︎

133. Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017. Model-agnostic meta-learning for fast adaptation of deep networks. In International Conference on Machine Learning. PMLR, 1126-1135. ↩︎ ↩︎ ↩︎

134. Aravind Rajeswaran, Chelsea Finn, Sham M Kakade, and Sergey Levine. 2019. Meta-learning with implicit gradients. Advances in neural information processing systems 32 (2019). ↩︎

135. Xiaomeng Zhu and Shuxiao Li. 2022. MGML: Momentum group meta-learning for few-shot image classification. Neurocomputing 514 (2022), 351-361. DOI:http://dx.doi.org/10.1016/j.neucom.2022.10.012 ↩︎

136. Alex Nichol, Joshua Achiam, and John Schulman. 2018. On first-order meta-learning algorithms. arXiv preprint arXiv:1803.02999 (2018). ↩︎

137. Alex Nichol and John Schulman. 2018. Reptile: a scalable meta-learning algorithm. arXiv preprint arXiv:1803.02999 2, 3 (2018), 4. ↩︎

138. Ondrej Bohdal, Yongxin Yang, and Timothy Hospedales. 2021. EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization. Advances in Neural Information Processing Systems 34 (2021), 22234-22246. ↩︎

139. Xingyou Song, Wenbo Gao, Yuxiang Yang, Krzysztof Choromanski, Aldo Pacchiano, and Yunhao Tang. 2019. Es-maml: Simple hessian-free meta learning. arXiv preprint arXiv:1910.01215 (2019). ↩︎

140. Z. Li, F. Zhou, F. Chen, and H. Li. 2017. Meta-sgd: Learning to learn quickly for few-shot learning. arXiv preprint arXiv:1707.09835 (2017). ↩︎

141. Yiluan Guo and Ngai-Man Cheung. 2020. Attentive weights generation for few shot learning via information maximization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 13499-13508. ↩︎

142. Andrei A. Rusu, Dushyant Rao, Jakub Sygnowski, Oriol Vinyals, Razvan Pascanu, Simon Osindero, and Raia Hadsell. 2019. Meta-Learning with Latent Embedding Optimization. In International Conference on Learning Representations, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net. https://openreview.net/forum?id=BJgklhAcK7 ↩︎

143. Erin Grant, Chelsea Finn, Sergey Levine, Trevor Darrell, and Thomas L. Griffiths. 2018. Recasting Gradient-Based Meta-Learning as Hierarchical Bayes. In International Conference on Learning Representations, Vancouver, BC, Canada, April 30 - May 3, 2018. OpenReview.net. https://openreview.net/forum?id=BJ_UL-k0b ↩︎

144. C. Finn, K. Xu, and S. Levine. 2018. Probabilistic model-agnostic meta-learning. Advances in neural information processing systems 31 (2018). ↩︎

145. Jaesik Yoon, Taesup Kim, Ousmane Dia, Sungwoong Kim, Yoshua Bengio, and Sungjin Ahn. 2018. Bayesian model-agnostic meta-learning. Advances in neural information processing systems 31 (2018). ↩︎

146. Massimiliano Patacchiola, Jack Turner, Elliot J Crowley, Michael O’Boyle, and Amos Storkey. 2020. Bayesian meta-learning for the few-shot setting via deep kernels. (2020). ↩︎ ↩︎ ↩︎ ↩︎

147. Sachin Ravi and Alex Beatson. 2018. Amortized bayesian meta-learning. In International Conference on Learning Representations. ↩︎

148. Yoonho Lee and Seungjin Choi. 2018. Gradient-based meta-learning with learned layerwise metric and subspace. In International Conference on Machine Learning. PMLR, 2927-2936. ↩︎

149. Muhammad Abdullah Jamal and Guo-Jun Qi. 2019. Task agnostic meta-learning for few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 11719-11727. ↩︎

150. Taewon Jeong and Heeyoung Kim. 2020. OOD-MAML: Meta-learning for few-shot out-of-distribution detection and classification. Advances in Neural Information Processing Systems 33 (2020), 3907-3916. ↩︎

151. Huaxiu Yao, Xian Wu, Zhiqiang Tao, Yaliang Li, Bolin Ding, Ruirui Li, and Zhenhui Li. AUTOMATED RELATIONAL META-LEARNING. ([n. d.]). ↩︎

152. Sebastian Flennerhag, Andrei A Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, and Raia Hadsell. 2019. Meta-learning with warped gradient descent. arXiv preprint arXiv:1909.00025 (2019). ↩︎

153. Muhammad Abdullah Jamal, Liqiang Wang, and Boqing Gong. 2021. A Lazy Approach to Long-Horizon Gradient-Based Meta-Learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 6577-6586. ↩︎

154. Han-Jia Ye and Wei-Lun Chao. 2022. How to Train Your MAML to Excel in Few-Shot Classification. In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net. https://openreview.net/forum?id=49h_IkpJtaE ↩︎

155. Arnav Chavan, Rishabh Tiwari, Udbhav Bamba, and Deepak K Gupta. 2022. Dynamic Kernel Selection for Improved Generalization and Memory Efficiency in Meta-learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9851-9860. ↩︎

156. Adam Santoro, Sergey Bartunov, Matthew Botvinick, Daan Wierstra, and Timothy Lillicrap. 2016. Meta-learning with memory-augmented neural networks. In International Conference on Machine Learning. PMLR, 1842-1850. ↩︎

157. Lukasz Kaiser, Oir Nachum, Aurko Roy, and Samy Bengio. 2017. Learning to Remember Rare Events. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net. https://openreview.net/forum?id=SJTQLdqlg ↩︎

158. Tiago Ramalho and Marta Garnelo. 2019. Adaptive Posterior Learning: few-shot learning with a surprise-based memory module. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net. https://openreview.net/forum?id=ByeSdsC9Km ↩︎

159. Ruiying Geng, Binhua Li, Yongbin Li, Jian Sun, and Xiaodan Zhu. 2020. Dynamic Memory Induction Networks for Few-Shot Text Classification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. ACL, 1087-1094. DOI:http://dx.doi.org/10.18653/v1/2020.acl-main.102 ↩︎

160. Xuncheng Liu, Xudong Tian, Shaohui Lin, Yanyun Qu, Lizhuang Ma, Wang Yuan, Zhizhong Zhang, and Yuan Xie. 2021. Learn from Concepts: Towards the Purified Memory for Few-shot Learning. In IJCAI. 888-894. ↩︎

161. Tianqin Li, Zijie Li, Andrew Luo, Harold Rockwell, Amir Barati Farimani, and Tai Sing Lee. 2021. Prototype memory and attention mechanisms for few shot image generation. In International Conference on Learning Representations. ↩︎

162. Ying-Jun Du, Xiantong Zhen, Ling Shao, and Cees G. M. Snoek. 2022. Hierarchical Variational Memory for Few-shot Learning Across Domains. In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net. https://openreview.net/forum?id=i3RI65sR7N ↩︎

163. Hieu Pham, Melody Guan, Barret Zoph, Quoc Le, and Jeff Dean. 2018. Efficient neural architecture search via parameters sharing. In International Conference on Machine Learning. PMLR, 4095-4104. ↩︎

164. Gabriel Bender, Pieter-Jan Kindermans, Barret Zoph, Vijay Vasudevan, and Quoc Le. 2018. Understanding and simplifying one-shot architecture search. In International Conference on Machine Learning. PMLR, 550-559. ↩︎

165. Yiyang Zhao, Linnan Wang, Yuandong Tian, Rodrigo Fonseca, and Tian Guo. 2021. Few-shot neural architecture search. In International Conference on Machine Learning. PMLR, 12707-12718. ↩︎

166. Thomas Elsken, Benedikt Staler, Jan Hendrik Metzen, and Frank Hutter. 2020. Meta-learning of neural architectures for few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12365-12375. ↩︎

167. Hanxiao Liu, Karen Simonyan, and Yiming Yang. 2018. Darts: Differentiable architecture search. arXiv preprint arXiv:1806.09055 (2018). ↩︎

168. Jorge Gonzalez-Zapata, Ivan Reyes-Amezcua, Daniel Flores-Araiza, Mauricio Mendez-Ruiz, Gilberto Ochoa-Ruiz, and Andres Mendez-Vazquez. 2022. Guided Deep Metric Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1481-1489. ↩︎

169. You Zhou, Changlin Chen, and Shukun Ma. 2021. Few-shot ship classification based on metric learning. Multimedia Systems (2021), 1-10. ↩︎

170. Gregory Koch, Richard Zemel, Ruslan Salakhutdinov, et al. 2015. Siamese neural networks for one-shot image recognition. In ICML deep learning workshop, Vol. 2. Lille. ↩︎ ↩︎

171. Elad Hofer and Nir Ailon. 2015. Deep metric learning using triplet network. In International workshop on similarity-based pattern recognition. Springer, 84-92. ↩︎ ↩︎

172. Weihua Chen, Xiaotang Chen, Jianguo Zhang, and Kaiqi Huang. 2017. Beyond triplet loss: a deep quadruplet network for person re-identification. In Proceedings of the IEEE conference on computer vision and pattern recognition. 403-412. ↩︎ ↩︎

173. Xiaomeng Li, Lequan Yu, Chi-Wing Fu, Meng Fang, and Pheng-Ann Heng. 2020. Revisiting metric learning for few-shot image classification. Neurocomputing 406 (2020), 49-58. ↩︎ ↩︎

174. Huikai Shao, Dexing Zhong, Xuefeng Du, Shaoyi Du, and Raymond NJ Veldhuis. 2021. Few-shot learning for palmprint recognition via meta-Siamese network. IEEE Transactions on Instrumentation and Measurement 70 (2021), 1-12. ↩︎

175. Thomas Müller, Guillermo Pérez-Torró, and Marc Franco-Salvador. 2022. Few-shot learning with siamese networks and label tuning. arXiv preprint arXiv:2203.14655 (2022). ↩︎

176. Congying Xia, Caiming Xiong, and Philip Yu. 2021. Pseudo siamese network for few-shot intent generation. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2005-2009. ↩︎

177. Jake Snell, Kevin Swersky, and Richard S. Zemel. 2017. Prototypical Networks for Few-shot Learning. In NeurIPS. 4077-4087. https://proceedings.neurips.cc/paper/2017/hash/cb8da6767461f2812ae4290eac7cbc42-Abstract.html ↩︎ ↩︎ ↩︎ ↩︎

178. Aoxue Li, Weiran Huang, Xu Lan, Jiashi Feng, Zhenguo Li, and Liwei Wang. 2020. Boosting few-shot learning with adaptive margin loss. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 12576-12584. ↩︎ ↩︎ ↩︎

179. Bin Liu, Yue Cao, Yutong Lin, Qi Li, Zheng Zhang, Mingsheng Long, and Han Hu. 2020. Negative margin matters: Understanding margin in few-shot classification. In European conference on computer vision. Springer, 438-455. ↩︎ ↩︎

180. Kaidi Cao, Maria Brbic, and Jure Leskovec. 2021. Concept Learners for Few-Shot Learning. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net. https://openreview.net/forum?id=eJIJF3-LoZO ↩︎ ↩︎

181. Pau Rodríguez, Issam Laradji, Alexandre Drouin, and Alexandre Lacoste. 2020. Embedding propagation: Smoother manifold for few-shot classification. In European Conference on Computer Vision. Springer, 121-138. ↩︎ ↩︎ ↩︎

182. Zhong Ji, Xiyao Liu, Yanwei Pang, and Xuelong Li. 2020. SGAP-Net: Semantic-guided attentive prototypes network for few-shot human-object interaction recognition. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. 11085-11092. ↩︎ ↩︎

183. Fangyu Wu, Jeremy S Smith, Wenjin Lu, Chaoyi Pang, and Bailing Zhang. 2020. Attentive prototype few-shot learning with capsule network-based embedding. In European Conference on Computer Vision. Springer, 237-253. ↩︎ ↩︎

184. Van N. Nguyen, Sigurd Lúkse, Kristofer Wickström, Michael Kampfmeyer, Davide Roverso, and Robert Jenssen. 2020. Sen: A novel feature normalization dissimilarity measure for prototypical few-shot learning networks. In European Conference on Computer Vision. Springer, 118-134. ↩︎ ↩︎

185. Wanqi Xue and Wei Wang. 2020. One-shot image classification by learning to restore prototypes. In AAAI, Vol. 34. 6558-6565. ↩︎ ↩︎

186. Kaixin Wang, Jun Hao Liew, Yingtian Zou, Daquan Zhou, and Jiashi Feng. 2019. Panet: Few-shot image semantic segmentation with prototype alignment. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9197-9206. ↩︎ ↩︎

187. Tianyu Gao, Xu Han, Zhiyuan Liu, and Maosong Sun. 2019. Hybrid attention-based prototypical networks for noisy few-shot relation classification. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33. 6407-6414. ↩︎ ↩︎

188. Philip Chikontwe, Soopil Kim, and Sang Hyun Park. 2022. CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 14554-14563. ↩︎ ↩︎ ↩︎

189. Baoquan Zhang, Xutao Li, Shanshan Feng, Yunming Ye, and Rui Ye. 2022. MetaNODE: Prototype optimization as a neural ODE for few-shot learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36. 9014-9021. ↩︎

190. Chi Zhang, Yujun Cai, Guosheng Lin, and Chunhua Shen. 2020. Deepemd: Few-shot image classification with differentiable earth mover’s distance and structured classifiers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 12203-12213. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

191. Yidan Nie, Chunjiang Bian, and Ligang Li. 2022. Adap-EMD: Adaptive EMD for Aircraft Fine-Grained Classification in Remote Sensing. IEEE Geoscience and Remote Sensing Letters 19 (2022), 1-5. ↩︎ ↩︎ ↩︎

192. Jiangtao Xie, Fei Long, Jiaming Lv, Qilong Wang, and Peihua Li. 2022. Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 7972-7981. ↩︎ ↩︎ ↩︎ ↩︎

193. Flood Sung, Yongxin Yang, Li Zhang, Tao Xiang, Philip HS Torr, and Timothy M Hospedales. 2018. Learning to compare: Relation network for few-shot learning. In Proceedings of the IEEE conference on computer vision and pattern recognition. 1199-1208. ↩︎ ↩︎

194. Xiaoxu Li, Jijie Wu, Zhuo Sun, Zhanyu Ma, Jie Cao, and Jing-Hao Xue. 2020. BSNet: Bi-Similarity Network for Few-shot Fine-grained Image Classification. IEEE Transactions on Image Processing 30 (2020), 1318-1331. ↩︎ ↩︎

195. Fusheng Hao, Fengxiang He, Jun Cheng, Lei Wang, Jianzhong Cao, and Dacheng Tao. 2019. Collect and select: Semantic alignment metric learning for few-shot learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8460-8469. ↩︎ ↩︎

196. Victor Garcia Satorras and Joan Bruna Estrach. 2018. Few-Shot Learning with Graph Neural Networks. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net. https://openreview.net/forum?id=BJj6qGbRW ↩︎ ↩︎

197. Jongmin Kim, Taesup Kim, Sungwoong Kim, and Chang D Yoo. 2019. Edge-labeling graph neural network for few-shot learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 11-20. ↩︎ ↩︎ ↩︎

198. Avishek Joey Bose, Ankit Jain, Piero Molino, and William L Hamilton. 2019. Meta-graph: Few shot link prediction via meta learning. arXiv preprint arXiv:1912.09867 (2019). ↩︎ ↩︎

199. Yuqing Ma, Shihao Bai, Shan An, Wei Liu, Aishan Liu, Xiantong Zhen, and Xianglong Liu. 2020. Transductive Relation-Propagation Network for Few-shot Learning. In IJCAI, Vol. 20. 804-810. ↩︎ ↩︎

200. Yifan Feng, Haoxuan You, Zizhao Zhang, Rongrong Ji, and Yue Gao. 2019. Hypergraph neural networks. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33. 3558-3565. ↩︎ ↩︎

201. Ling Yang, Liangliang Li, Zilun Zhang, Xinyu Zhou, Erjin Zhou, and Yu Liu. 2020. DPGN: Distribution propagation graph network for few-shot learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 13390-13399. ↩︎ ↩︎

202. Xiaoxu Li, Yalan Li, Yixiao Zheng, Rui Zhu, Zhanyu Ma, Jing-Hao Xue, and Jie Cao. 2023. ReNAP: Relation network with adaptive prototypical learning for few-shot classification. Neurocomputing 520 (2023), 356-364. DOI:http://dx.doi.org/10.1016/j.neucom.2022.11.082 ↩︎

203. Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and S Yu Philip. 2020. A comprehensive survey on graph neural networks. IEEE Transactions on Neural Networks and Learning Systems 32, 1 (2020), 4-24. ↩︎

204. Yinbo Chen, Zhuang Liu, Huijuan Xu, Trevor Darrell, and Xiaolong Wang. 2021. Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. In IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, October 10-17, 2021. IEEE, 9042-9051. DOI:http://dx.doi.org/10.1109/ICCV48922.2021.00893 ↩︎ ↩︎

205. Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. 2021. Learning transferable visual models from natural language supervision. In ICML. PMLR, 8748-8763. ↩︎ ↩︎ ↩︎

206. Edgar Schonfeld, Sayna Ebrahimi, Samarth Sinha, Trevor Darrell, and Zeynep Akata. 2019. Generalized zero-and few-shot learning via aligned variational autoencoders. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 8247-8255. ↩︎

207. Shuo Wang, Jun Yue, Jianzhuang Liu, Qi Tian, and Meng Wang. 2020. Large-scale few-shot learning via multi-modal knowledge discovery. In European Conference on Computer Vision. Springer, 718-734. ↩︎

208. Aoxue Li, Tiange Luo, Zhiwu Lu, Tao Xiang, and Liwei Wang. 2019. Large-scale few-shot learning: Knowledge transfer with class hierarchy. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 7212-7220. ↩︎ ↩︎

209. Eli Schwartz, Leonid Karlinsky, Rogerio Feris, Raja Giryes, and Alex Bronstein. 2022. Baby steps towards few-shot learning with multiple semantics. Pattern Recognition Letters 160 (2022), 142-147. ↩︎ ↩︎

210. Zhimao Peng, Zechao Li, Junge Zhang, Yan Li, Guo-Jun Qi, and Jinhui Tang. 2019. Few-shot image recognition with knowledge transfer. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 441-449. ↩︎ ↩︎

211. Chen Xing, Negar Rostamzadeh, Boris Oreshkin, and Pedro O O Pinheiro. 2019. Adaptive cross-modal few-shot learning. Advances in Neural Information Processing Systems 32 (2019), 4847-4857. ↩︎ ↩︎

212. Frederik Pahde, Mihai Puscas, Tassilo Klein, and Moin Nabi. 2021. Multimodal Prototypical Networks for Few-shot Learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2644-2653. ↩︎

213. Mathieu Pagé Fortin and Brahim Chaib-draa. 2021. Towards Contextual Learning in Few-shot Object Classification. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 3279-3288. ↩︎

214. Michael Sollami and Aashish Jain. 2021. Multimodal Conditionality for Natural Language Generation. arXiv preprint arXiv:2109.01229 (2021). ↩︎

215. Mengmeng Wang, Jiazheng Xing, and Yong Liu. 2021. Actionclip: A new paradigm for video action recognition. arXiv preprint arXiv:2109.08472 (2021). ↩︎

216. Dongxu Li, Junnan Li, Hongdong Li, Juan Carlos Niebles, and Steven CH Hoi. 2022. Align and Prompt: Video-and-Language Pre-training with Entity Prompts. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 4953-4963. ↩︎

217. Yuan Yao, Ao Zhang, Zhengyan Zhang, Zhiyuan Liu, Tat-Seng Chua, and Maosong Sun. 2021. CPT: Colorful prompt tuning for pre-trained vision-language models. arXiv preprint arXiv:2109.11797 (2021). ↩︎

218. Kaiyang Zhou, Jingkang Yang, Chen Change Loy, and Ziwei Liu. 2022. Learning to prompt for vision-language models. International Journal of Computer Vision (2022), 1-12. ↩︎

219. Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. 2021. Multimodal few-shot learning with frozen language models. Advances in Neural Information Processing Systems 34 (2021), 200-212. ↩︎

220. Daniel Shalam and Simon Korman. 2022. The Self-Optimal-Transport Feature Transform. arXiv e-prints (2022), arXiv:2204. ↩︎

221. Dong Hoon Lee and Sae-Young Chung. 2021. Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification. arXiv preprint arXiv:2106.11486 (2021). ↩︎

222. Haoxiang Wang, Han Zhao, and Bo Li. 2021. Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation. In Proceedings of the 38th International Conference on Machine Learning, 18-24 July 2021, Vol. 139. PMLR, 10991-11002. http://proceedings.mlr.press/v139/wang21ad.html ↩︎

223. Mohamed Afham, Salman Khan, Muhammad Haris Khan, Muzammal Naseer, and Fahad Shahbaz Khan. 2021. Rich Semantics Improve Few-Shot Learning. In 32nd British Machine Vision Conference 2021, BMVC 2021, Online, November 22-25, 2021. BMVA Press, 152. https://www.bmvc2021-virtualconference.com/assets/papers/0444.pdf ↩︎

224. Mamshad Nayeem Rizve, Salman Khan, Fahad Shahbaz Khan, and Mubarak Shah. 2021. Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning. In Proceedings of the IEEE/CVF CVPR. 10836-10846. ↩︎

225. Reza Esfandiarpoor, Amy Pu, Mohsen Hajabdollahi, and Stephen H Bach. 2020. Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks. arXiv preprint arXiv:2012.07176 (2020). ↩︎

226. Haoxing Chen, Huaxiong Li, Yaohui Li, and Chunlin Chen. 2022. Multi-Scale Adaptive Task Attention Network for Few-Shot Learning. In 26th International Conference on Pattern Recognition, ICPR 2022, Montreal, QC, Canada, August 21-25, 2022. IEEE, 4765-4771. DOI:http://dx.doi.org/10.1109/ICPR56361.2022.9955637 ↩︎

227. Da Chen, Yuefeng Chen, Yuhong Li, Feng Mao, Yuan He, and Hui Xue. 2021. Self-supervised learning for few-shot image classification. In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 1745-1749. ↩︎

228. Xian Zhong, Cheng Gu, Wenxin Huang, Lin Li, Shuqin Chen, and Chia-Wen Lin. 2021. Complementing Representation Deficiency in Few-shot Image Classification: A Meta-Learning Approach. In 2020 25th International Conference on Pattern Recognition (ICPR). IEEE, 2677-2684. ↩︎

229. Bowen Wang, Liangzhi Li, Manisha Verma, Yuta Nakashima, Ryo Kawasaki, and Hajime Nagahara. 2020. Match Them Up: Visually Explainable Few-shot Image Classification. arXiv preprint arXiv:2011.12527 (2020). ↩︎

230. Lyes Khacef, Vincent Gripon, and Benoît Miramond. 2020. GPU-Based Self-Organizing Maps for Post-labeled Few-Shot Unsupervised Learning. In International Conference on Neural Information Processing. Springer, 404-416. ↩︎

231. Zhiyu Xue, Lixin Duan, Wen Li, Lin Chen, and Jiebo Luo. 2020. Region Comparison Network for Interpretable Few-shot Image Classification. arXiv preprint arXiv:2009.03558 (2020). ↩︎

232. Imtiaz Ziko, Jose Dolz, Eric Granger, and Ismail Ben Ayed. 2020. Laplacian regularized few-shot learning. In International Conference on Machine Learning. PMLR, 11660-11670. ↩︎

233. Peyman Bateni, Jarred Barber, Jan-Willem van de Meent, and Frank Wood. 2022. Enhancing Few-Shot Image Classification with Unlabelled Examples. In IEEE/CVF Winter Conference on Applications of Computer Vision, Waikoloa, HI, USA, January 3-8, 2022. IEEE, 1597-1606. DOI:http://dx.doi.org/10.1109/WACV51458.2022.00166 ↩︎

234. Yuqing Hu, Vincent Gripon, and Stéphane Pateux. 2021. Leveraging the Feature Distribution in Transfer-Based Few-Shot Learning. In Artificial Neural Networks and Machine Learning - 30th International Conference on Artificial Neural Networks, Vol. 12892. Springer, 487-499. DOI:http://dx.doi.org/10.1007/978-3-030-86340-1_39 ↩︎

235. Shell Xu Hu, Pablo Garcia Moreno, Yang Xiao, Xi Shen, Guillaume Obozinski, Neil D. Lawrence, and Andreas C. Damianou. 2020. Empirical Bayes Transductive Meta-Learning with Synthetic Gradients. In International Conference on Learning Representations. OpenReview.net. https://openreview.net/forum?id=Hkg-xgrYvH ↩︎

236. Cuong Nguyen, Thanh-Toan Do, and Gustavo Carneiro. 2020. PAC-Bayesian Meta-learning with Implicit Prior and Posterior. arXiv preprint arXiv:2003.02455 (2020). ↩︎

237. Jin Xu, Jean-Francois Ton, Hyunjik Kim, Adam Kosiorek, and Yee Whye Teh. 2020. Metafun: Meta-learning with iterative functional updates. In International Conference on Machine Learning. PMLR, 10617-10627. ↩︎

238. Jialin Liu, Fei Chao, and Chih-Min Lin. 2020. Task augmentation by rotating for meta-learning. arXiv preprint arXiv:2003.00804 (2020). ↩︎

239. Puneet Mangla, Nupur Kumari, Abhishek Sinha, et al. 2020. Charting the right manifold: Manifold mixup for few-shot learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2218-2227. ↩︎

240. Sung Whan Yoon, Jun Seo, and Jaekyun Moon. 2019. Tapnet: Neural network augmented with task-adaptive projection for few-shot learning. In International Conference on Machine Learning. PMLR, 7115-7123. ↩︎

241. Liang Song, Jinlu Liu, and Yongqiang Qin. 2019. Generalized Adaptation for Few-Shot Learning. arXiv preprint arXiv:1911.10807 (2019). ↩︎

242. Han-Jia Ye, Hexiang Hu, De-Chuan Zhan, and Fei Sha. 2020. Few-shot learning via embedding adaptation with set-to-set functions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 8808-8817. ↩︎

243. Wenbin Li, Lei Wang, Jinglin Xu, Jing Huo, Yang Gao, and Jiebo Luo. 2019. Revisiting local descriptor based image-to-class measure for few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 7260-7268. ↩︎

244. Eunbyung Park and Junier B. Oliva. 2019. Meta-Curvature. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada. 3309-3319. https://proceedings.neurips.cc/paper/2019/hash/57c0531e13f40b91b3b0f1a30b529a1d-Abstract.html ↩︎

245. Ross Girshick. 2015. Fast R-CNN. In Proceedings of the IEEE International Conference on Computer Vision. 1440-1448. ↩︎

246. Xingkui Zhu, Shuchang Lyu, Xu Wang, and Qi Zhao. 2021. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 2778-2788. ↩︎

247. Xiaosong Zhang, Feng Liu, Zhiliang Peng, Zonghao Guo, Fang Wan, Xiangyang Ji, and Qixiang Ye. 2022. Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection. arXiv preprint arXiv:2205.09613 (2022). ↩︎ ↩︎

248. Bo Sun, Banghuai Li, Shengcai Cai, Ye Yuan, and Chi Zhang. 2021. FSCE: Few-shot object detection via contrastive proposal encoding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 7352-7362. ↩︎

249. Chenchen Zhu, Fangyi Chen, Uzair Ahmed, Zhiqiang Shen, and Marios Savvides. 2021. Semantic relation reasoning for shot-stable few-shot object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 8782-8791. ↩︎

250. Yang Xiao and Renaud Marlet. 2020. Few-shot object detection and viewpoint estimation for objects in the wild. In European Conference on Computer Vision. Springer, 192-210. ↩︎

251. Jiaxi Wu, Songtao Liu, Di Huang, and Yunhong Wang. 2020. Multi-scale positive sample refinement for few-shot object detection. In European Conference on Computer Vision. Springer, 456-472. ↩︎

252. Xin Wang, Thomas E. Huang, Joseph Gonzalez, Trevor Darrell, and Fisher Yu. 2020. Frustratingly Simple Few-Shot Object Detection. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Vol. 119. PMLR, 9919-9928. http://proceedings.mlr.press/v119/wang20j.html ↩︎

253. Xiaopeng Yan, Ziliang Chen, Anni Xu, Xiaoxi Wang, Xiaodan Liang, and Liang Lin. 2019. Meta R-CNN: Towards general solver for instance-level low-shot learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9577-9586. ↩︎

254. Yu-Xiong Wang, Deva Ramanan, and Martial Hebert. 2019. Meta-learning to detect rare objects. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9925-9934. ↩︎

255. Amirreza Shaban, Shray Bansal, Zhen Liu, Irfan Essa, and Byron Boots. 2017. One-Shot Learning for Semantic Segmentation. In British Machine Vision Conference 2017, BMVC 2017, London, UK, September 4-7, 2017. BMVA Press. https://www.dropbox.com/s/1odhw88t465klsz/0797.pdf?dl=1 ↩︎

256. Zhihe Lu, Sen He, Xiatian Zhu, Li Zhang, Yi-Zhe Song, and Tao Xiang. 2021. Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8741-8750. ↩︎

257. Gengwei Zhang, Guoliang Kang, Yi Yang, and Yunchao Wei. 2021. Few-Shot Segmentation via Cycle-Consistent Transformer. In Annual Conference on Neural Information Processing Systems, NeurIPS 2021, December 6-14, 2021. 21984-21996. https://proceedings.neurips.cc/paper/2021/hash/b8b12f949378552c21f28def8ba8eb6-Abstract.html ↩︎

258. Juhong Min, Dahyun Kang, and Minsu Cho. 2021. Hypercorrelation squeeze for few-shot segmentation. arXiv preprint arXiv:2104.01538 (2021). ↩︎

259. Boyu Yang, Chang Liu, Bohao Li, Jianbin Jiao, and Qixiang Ye. 2020. Prototype mixture models for few-shot semantic segmentation. In European Conference on Computer Vision. Springer, 763-778. ↩︎

260. Zhuotao Tian, Hengshuang Zhao, Michelle Shu, Zhicheng Yang, Ruiyu Li, and Jiaya Jia. 2020. Prior guided feature enrichment network for few-shot segmentation. IEEE Transactions on Pattern Analysis & Machine Intelligence 01 (2020), 1-1. ↩︎

261. Yongfei Liu, Xiangyi Zhang, Songyang Zhang, and Xuming He. 2020. Part-aware prototype network for few-shot semantic segmentation. In European Conference on Computer Vision. Springer, 142-158. ↩︎

262. Khoi Nguyen and Sinisa Todorovic. 2019. Feature weighting and boosting for few-shot segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 622-631. ↩︎

263. Chi Zhang, Guosheng Lin, Fayao Liu, Rui Yao, and Chunhua Shen. 2019. CANet: Class-agnostic segmentation networks with iterative refinement and attentive few-shot learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 5217-5226. ↩︎

264. Dan Andrei Ganea, Bas Boom, and Ronald Poppe. 2021. Incremental Few-Shot Instance Segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1185-1194. ↩︎ ↩︎

265. Khoi Nguyen and Sinisa Todorovic. 2021. FAPIS: A Few-shot Anchor-free Part-based Instance Segmenter. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 11099-11108. ↩︎

266. Zhibo Fan, Jin-Gang Yu, Zhihao Liang, Jiarong Ou, Changxin Gao, Gui-Song Xia, and Yuanqing Li. 2020. FGN: Fully guided network for few-shot instance segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 9172-9181. ↩︎

267. Xiaolin Zhang, Yunchao Wei, Yi Yang, and Thomas S Huang. 2020. SG-ONE: Similarity guidance network for one-shot semantic segmentation. IEEE Transactions on Cybernetics 50, 9 (2020), 3855-3865. ↩︎

268. Claudio Michaelis, Ivan Ustyuzhaninov, Matthias Bethge, et al. 2018. One-shot instance segmentation. arXiv preprint arXiv:1811.11507 (2018). ↩︎