靓仔博客

少样本分类是一个具有挑战性的问题，因为每个新任务只提供很少的训练示例。解决这一挑战的有效研究路线之一集中在学习由查询图像和某些类别的少数支持图像之间的相似性度量驱动的深度表示。从统计学上讲，这相当于测量图像特征的依赖性，被视为高维嵌入空间中的随机向量。以前的方法要么只使用边际分布而不考虑联合分布，受限于表示能力，要么虽然利用联合分布但计算成本很高。在本文中，我们提出了一种用于少样本分类的深度布朗距离协方差（DeepBDC）方法。 DeepBDC 的中心思想是通过测量嵌入特征的联合特征函数与边缘乘积之间的差异

少样本学习受到标记训练数据稀缺的影响。将图像的局部描述符作为图像的表示可以大大增加现有的标记训练数据。现有的基于局部描述符的小样本学习方法利用了这一事实，但忽略了局部描述符所表现的语义可能与图像语义无关。在本文中，我们从一个新的角度来处理这个问题，即对图像的局部描述符施加语义一致性。我们提出的方法由三个模块组成。第一个是局部描述符提取器模块，它可以在一次前向传递中提取大量局部描述符。第二个是局部描述符补偿器模块，它用图像级表示来补偿局部描述符，以使局部描述符和图像语义之间的语义对齐。第三个是基于局部描述符的

现实世界包含大量的对象类，一次学习所有这些是不可行的。小样本学习是一种很有前途的学习范式，因为它能够仅用少量样本快速学习无序分布。最近的工作 [7, 41] 表明，简单地学习一个好的特征嵌入可以胜过更复杂的元学习和度量学习算法，用于小样本学习。在本文中，我们提出了一种简单的方法来提高深度神经网络对小样本学习任务的表示能力。我们遵循一个两阶段的学习过程：首先，我们训练一个神经网络以最大化特征嵌入的熵，从而使用自监督辅助损失创建一个最佳输出流形。在第二阶段，我们通过将自监督双胞胎放在一起来最小化特征嵌入的熵，同

基于原型的小样本学习方法很有希望，因为它们简单而有效地处理任意样本问题，并且从那时起提出了许多与原型相关的工作。然而，这些传统的基于原型的方法通常只使用一个原型来表示一个类，这本质上不能有效地估计一个类的复杂分布。为了解决这个问题，我们在本文中提出了一种新颖的基于局部描述符的多原型网络（LMPNet），这是一个精心设计的框架，可以生成具有多个原型的嵌入空间。具体来说，所提出的 LMPNet 使用局部描述符来表示每个图像，与通常采用的图像级特征相比，它可以捕获图像的更多信息和更微妙的线索。此外，为了减轻原型的

图像分类中的小样本学习旨在学习一个分类器来在每个类只有很少的训练示例可用时对图像进行分类。最近的工作取得了有希望的分类性能，其中通常使用基于图像级特征的度量。在本文中，我们认为，鉴于小样本学习中示例的稀缺性，这种级别的测量可能不够有效。相反，我们认为应该采用基于局部描述符的图像到类的度量，其灵感来自于它在局部不变特征的鼎盛时期令人惊讶的成功。具体来说，在最近的情景训练机制的基础上，我们提出了一个深度最近邻神经网络（简称 DN4）并以端到端的方式对其进行训练。它与文献的主要区别在于最后一层中基于图像级特征的度

使用图神经网络 (GNN) 进行小样本图像分类是近年来的热门话题。大多数基于 GNN 的方法都取得了可喜的性能。这些方法利用节点特征或一维边缘特征进行分类，忽略节点之间的丰富边缘特征。在本文中，我们提出了一种利用多维边缘特征的新型图神经网络（MDE-GNN），该网络基于边缘标记图神经网络（EGNN）和用于小样本学习的直推式神经网络。与之前基于 GNN 的方法不同，我们利用多维边缘特征信息在图中构建边缘矩阵。在节点和边缘特征层更新后，我们通过精心设计的边缘聚合模块通过多维边缘特征生成相似度得分矩阵。我们网络中

本文解决了小样本视频分类的问题，该分类仅从几个示例中学习新概念的分类器。当前大多数方法都忽略了明确考虑视频内和视频间域中的关系，因此无法充分利用小样本学习中的结构信息。在本文中，我们建议通过图神经网络 (GNN) 开发全面的视频内和视频间关系。为了提高准确选择代表性视频内容和细化视频关系的判别能力，构建了一个双池 GNN (DPGNN)，它以分层方式堆叠定制的图池层。具体来说，为了选择视频中最具代表性的帧，我们构建视频内图并利用节点池化模块来提取稳健的视频级特征。我们通过将视频级特征作为节点来构建视频间图。

以往的基于图神经网络的小样本学习方法在构建邻接矩阵时，要么通过神经网络计算、要么通过欧式距离计算。然而，这种做法有一个弊端，就是节点之间都有边相连，在图传播的过程中会造成噪声的传播。因此，本文通过对邻接矩阵进行阈值处理，降低噪声的传播。

大规模的少样本学习旨在识别数百个新的对象类别，每个类别只有几个样本。这是一个具有挑战性的问题，因为（1）识别过程容易过度拟合对象的有限样本，以及（2）基础（已知知识）类别和新类别之间的样本不平衡很容易使识别产生偏差结果。为了解决这些问题，我们提出了一种基于多模态知识发现的方法。首先，我们使用视觉知识来帮助特征提取器专注于不同的视觉部分。其次，我们设计了一个分类器来学习所有类别的分布。在第二阶段，我们开发了三种方案来最小化预测误差并平衡训练过程：（1）硬标签用于提供精确的监督。 (2)利用语义文本知识作为弱监

从一个或几个视觉示例中学习是人类自婴儿早期以来的关键能力之一，但对于现代人工智能系统来说仍然是一项重大挑战。虽然在从几个图像示例中进行小样本学习方面取得了相当大的进展，但对于通常提供给婴儿的新对象时的口头描述却很少关注。在本文中，我们专注于可以显着促进少镜头视觉学习的附加语义的作用。在具有附加语义信息的小样本学习的最新进展的基础上，我们证明了通过结合多种和更丰富的语义（类别标签、属性和自然语言描述）可以进一步改进。使用这些想法，我们在流行的 miniImageNet 和 CUB 少样本基准上为社区提供了新结

尽管为许多计算机视觉任务提供了出色的结果，但最先进的深度学习算法在低数据场景中举步维艰。然而，如果存在其他模式中的数据(如文本)，这可以弥补数据的不足，并改善分类结果。为了克服这种数据匮乏的问题，我们设计了一个跨模态特征生成框架，该框架能够在样本较少的场景中丰富低填充嵌入空间，利用来自辅助模态的数据。具体来说，我们训练生成模型，将文本数据映射到视觉特征空间，以获得更可靠的原型。这允许在训练期间利用来自其他模式(如文本)的数据，而测试时间的最终任务仍然是用唯一的视觉数据进行分类。我们表明，在这种情况下，最近邻

最近，大规模的少样本学习（FSL）成为热门话题。研究发现，对于源域中有 1000 个类的大规模 FSL 问题，会出现一个强基线，即使用聚合的源类简单地训练深度特征嵌入模型，并使用最近邻（NN）搜索学习目标类的特征。最先进的大规模 FSL 方法难以超越这一基线，这表明可扩展性存在内在限制。为了克服这一挑战，我们提出了一种新颖的大规模 FSL 模型，该模型通过使用类层次结构学习可转移的视觉特征来编码源类和目标类之间的语义关系。大量实验表明，所提出的模型不仅明显优于 NN 基线，而且优于最先进的替代方案。此外，我

基于度量的元学习技术已成功应用于小样本分类问题。在本文中，我们建议利用跨模态信息来增强基于度量的少样本学习方法。根据定义，视觉和语义特征空间具有不同的结构。对于某些概念，视觉特征可能比文本特征更丰富、更具辨别力。而对其他人来说，情况可能正好相反。此外，当视觉信息的支持在图像分类中受到限制时，语义表示（从无监督文本语料库中学习）可以提供强大的先验知识和上下文来帮助学习。基于这两种直觉，我们提出了一种机制，可以根据要学习的新图像类别自适应地组合来自两种模式的信息。通过一系列实验，我们表明，通过这两种模态的这种自

尝试仅使用少数标记样本来预测未标记样本的少样本学习已引起越来越多的关注。尽管最近的工作取得了可喜的进展，但他们都没有注意到在剧集之间建立一致性，从而导致潜在嵌入空间的模糊性。在本文中，我们提出了一种新颖的跨模态图神经网络（CMGNN）来揭示情节之间的关联，以实现一致的全局嵌入。由于 NLP 引入的语义信息与视觉信息空间相比是相对固定的，因此我们利用它为每个类别构建元节点，以通过 GNN 指导相应的视觉特征学习。此外，为了确保全局嵌入，设计了距离损失函数以更大程度地迫使视觉节点更靠近其关联的元节点。对四个基准

模型蒸馏是一种有效且广泛使用的技术，可将知识从教师网络转移到学生网络。典型的应用是从强大的大型网络或集成转移到小型网络，以满足低内存或快速执行的要求。在本文中，我们提出了一种深度相互学习（DML）策略。与模型蒸馏中静态预定义教师和学生之间的单向迁移不同，使用 DML，学生的集合在整个训练过程中协作学习并互相教授。我们的实验表明，各种网络架构都受益于相互学习，并在类别和实例识别任务上都取得了令人信服的结果。令人惊讶的是，它表明不需要先前强大的教师网络 - 一组简单的学生网络的相互学习工作，而且优于来自更强大但

我们提出了一种新颖的基于度量的元学习框架，在知识图谱的帮助下提取任务特定的表示和任务共享的表示。因此，可以通过任务共享和任务特定表示的组合来对抗任务内/任务之间的数据转移。所提出的模型在流行的基准和两个构建的新的具有挑战性的数据集上进行了评估。评估结果证明了其卓越的性能。

最近，Few-Shot Learning (FSL)，或者从每个新类中很少（通常是 1 或 5 个）示例中学习（在训练期间看不到），已经受到了很多关注和显着的性能提升。虽然已经为 FSL 提出了许多技术，但有几个因素对 FSL 性能最重要，即使是最简单的技术也能获得 SOTA。它们是：主干架构（越大越好）、预训练类型（元训练 vs 多类）、基类的数量和多样性（越多越好），以及使用辅助自监督任务（一个增加多样性的代理）。在本文中，我们提出了 TAFSSL，这是一种简单的技术，用于在一些额外的未标记数据伴随小样

少样本分类具有挑战性，因为训练集的数据分布可能与测试集大不相同，因为它们的类不相交。这种分布变化通常会导致泛化能力差。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形平滑度是半监督学习和转导学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为无监督的非参数正则化器，用于小样本分类中的流形平滑。嵌入传播利用基于相似图的神经网络提取特征之间的插值。我们凭经验表明嵌入传播会产生更平滑的嵌入流形。我们还表明，将嵌入传播应用于转导分类器在 miniImagenet、tiere

度量学习：关系网络

原型网络，基于这样的想法，即存在一个嵌入，其中点围绕每个类的单个原型表示聚集。为了做到这一点，我们使用神经网络学习输入到嵌入空间的非线性映射，并将类的原型作为其在嵌入空间中的支持集的平均值。然后通过简单地找到最近的类原型对嵌入的查询点执行分类。

小样本学习相当于学习表示和获取知识，以便可以在监督和数据有限的情况下解决新颖的任务。通过可同时使用整个测试集的直推式推理和可使用更多未标记数据的半监督学习，可以提高性能。针对这两个设置，我们引入了一种新算法，该算法利用标记和未标记数据分布的流形结构来预测伪标签，同时平衡类并使用有限容量分类器的损失值分布来选择最干净的标签，迭代地提高伪标签的质量。

目标是首先学习一个神经网络，可以区分图像对是否是来自同一个类别，这是图像识别的标准验证任务。我们假设在验证方面做得好的网络应该推广到一次分类。验证模型学习根据输入对属于同一类或不同类的概率来识别输入对。然后，该模型可用于评估新图像，每个新类恰好有一个新图像，以两两方式对测试图像进行评估。根据验证网络，得分最高的配对将获得完成一次性任务的最高概率。

在本文中，我们建议为骨干网络配备一个通过强化学习训练的注意力代理。策略梯度算法用于训练代理随着时间的推移自适应地定位特征图上的代表性区域。我们进一步设计了基于保留数据预测的奖励函数，从而帮助注意力机制更好地泛化到未见过的类别中。广泛的实验表明，在强化注意力的帮助下，我们的嵌入网络能够在少样本学习中逐步生成更具辨别力的表示。此外，图像分类任务的实验也表明了所提出设计的有效性。

在本文中，我们建议通过擦除修复来学习完整的特征，以进行小样本分类。具体来说，我们认为提取目标对象的完整特征更具可转移性，然后提出一种新的交叉集擦除修复（CSEI）方法。CSEI 使用擦除和修复处理支持集中的图像，然后使用它们来增强同一任务的查询集。因此，我们提出的方法产生的特征嵌入可以包含更完整的目标对象信息。此外，我们提出了特定于任务的特征调制，以使特征适应当前任务。在两个广泛使用的基准上进行的大量实验很好地证明了我们提出的方法的有效性，它可以始终如一地为不同的基线方法获得可观的性能提升。

在这项工作中，我们建立在这种洞察力的基础上，并提出了一种新颖的训练机制，该机制同时对一组通用的几何变换实施等变性和不变性。等变性或不变性已在以前的工作中中单独使用；然而，据我们所知，它们并未被联合使用。对这两个对比目标的同时优化 允许模型共同学习 不仅独立于输入变换而且编码几何变换结构的特征的特征。这些互补的特征集有助于很好地推广到只有少数数据样本的新类。我们通过结合一个新的自我监督蒸馏目标实现了额外的改进。我们广泛的实验表明，即使没有知识蒸馏，我们提出的方法也可以在五个流行的基准数据集上优于当前最先进的

小样本学习已经被研究来模仿人类的视觉能力和学习有效的模型，而不需要详尽的人类注释。尽管适应元学习的思想主导了小样本学习方法，但如何训练特征提取器仍然是一个挑战。在本文中，我们关注于训练策略的设计，以获得一个元素表示，使每个新类的原型可以从几个标记的样本估计。我们提出了一个两阶段的训练方案，伙伴辅助学习(PAL)，首先训练伙伴编码器建模成对的相似性和提取特征作为软锚，然后训练主编码器，将其输出与软锚对齐，同时试图最大化分类性能。分别设计了logit级和特征级对齐约束。对于每个少量的任务，我们执行原型分类。我们

近年来元学习研究的重点是快速适应有限数据和低计算成本的测试时间任务的学习算法。小样本学习作为元学习的标准之一被广泛应用。在这项工作中，我们展示了一个简单的基线:在元训练集上学习一个有监督或自我监督的表示，然后在这个表示之上训练一个线性分类器，比最先进的小样本学习方法表现得更好。通过使用自蒸馏可以获得额外的提升。这表明，使用一个良好的学习嵌入模型可以比复杂的元学习算法更有效。我们相信，我们的发现激发了对小样本图像分类基准和元学习算法相关角色的重新思考。

在少样本学习场景中，挑战在于当每个任务只有很少的标记示例可用时，在新的未见示例上泛化并表现良好。与模型无关的元学习（MAML）因其灵活性和对各种问题的适用性而成为具有代表性的少样本学习方法之一。然而，MAML 及其变体通常采用简单的损失函数，而没有任何辅助损失函数或正则化项来帮助实现更好的泛化。问题在于每个应用和任务可能需要不同的辅助损失函数，特别是当任务多样化和不同时。我们没有尝试为每个应用程序和任务手动设计辅助损失函数，而是引入了一个新的元学习框架，该框架具有适应每个任务的损失函数。我们提出的框架名为

CNN 主要关注感受野有限的局部信息，而远距离像素生成的全局信息没有得到很好的利用。同时，对当前任务有一个全局的了解，并针对不同的查询关注同一样本的不同区域，这对于少样本分类很重要。为了解决这些问题，我们提出了跨非局部神经网络（CNL）来捕获样本和当前任务的长期依赖关系。CNL 通过聚合来自其自身和当前任务的所有位置的信息来增强样本在某个位置的特征，从而动态地提取任务特定和上下文感知的特征。为了减少丢失重要信息，我们最大化原始特征和细化特征之间的互信息作为约束。此外，我们添加了一个特定于任务的缩放来处理由

在本文中，我们提出了一种新颖的 Mutual CRF-GNN (MCGN)。在这个 MCGN 中，支持数据的标签和特征被 CRF 用于以有原则和概率的方式推断 GNN 亲和力。具体来说，我们构建了一个以标签和支持数据的特征为条件的条件随机场 (CRF)，以推断标签空间中的亲和力。这种亲和性作为节点亲和性被馈送到 GNN。GNN和CRF在MCGN中相互促进。

本文提出了一种基于条件Wasserstein生成式对抗网络的对抗特征幻觉网络(AFHN)，该网络以少数标记样本为条件，产生了多种多样的识别特征。在AFHN中引入分类正则化和抗坍塌正则化两种新的正则化方法，分别提高了合成特征的可鉴别性和多样性。

无监督的图像到图像转换方法学习将给定类别中的图像映射到不同类别中的类似图像，利用非结构化（非注册）图像数据集。虽然非常成功，但当前的方法需要在训练时访问源类和目标类中的许多图像。我们认为这极大地限制了它们的使用。从人类从少量示例中提取新对象的本质并从那里进行概括的能力中汲取灵感，我们寻求一种少样本、无监督的图像到图像转换算法，该算法适用于以前看不见的目标类在测试时，仅由几个示例图像指定。我们的模型通过将对抗性训练方案与新颖的网络设计相结合来实现这种少量生成能力。通过广泛的实验验证和与基准数据集上的几种基线方

固定输入图是利用图卷积网络(GCNs)进行知识转移的主要方法。标准范式是利用输入图中的关系，使用GCNs将信息从训练节点传递到图中的测试节点;例如，半监督、零样本和小样本的学习设置。我们提出了一个广义的学习框架和改进输入图作为标准的基于gcn的学习设置的一部分。此外，我们通过对中间层输出施加三重损失，对图中的每个节点使用相似和不相似邻居之间的附加约束。

在本文中，我们考虑了一个具有更大应用潜力的真实场景，即零样本和小样本的立场检测，它可以在没有或很少训练例子的情况下识别广泛的主题的立场。传统的数据驱动方法不适用于上述零样本和少样本的场景。对于人类来说，常识知识是理解和推理的关键因素。在没有标注数据和用户立场的隐晦表达的情况下，我们认为引入常识性的关系知识作为推理支持，可以进一步提高模型在零样本和少样本场景下的泛化和推理能力。具体地说，我们引入常识知识增强模型，利用关系知识的结构层和语义层信息。大量实验表明，该模型在零样本和小样本立场检测任务上的性能优于现有

我们提出了一种新的基于原型完成的元学习框架。该框架首先引入先验知识(即类级部分或属性注释)，然后提取有代表性的属性特征作为先验。然后，我们设计了一个原型完成网络来学习如何利用这些先验来完成原型。为了避免原始知识噪声或类差异导致的原型补全误差，我们进一步开发了一种基于高斯的原型融合策略，利用未标记样本将基于均值的原型与已完成的原型相结合

近年来，基于直推图的分类方法在小样本分类任务中取得了很大的成功。然而，大多数现有的方法忽略了探索类级别的知识，而人类可以通过少量的样本轻松地学习这些知识。为了解决这一问题，本文提出了一种由比较模块、压缩模块和校正模块组成的显式类知识传播网络(ECKPN)。

小样本学习是一种有趣而具有挑战性的学习方法，它的目的是通过少量的标注实例来学习新的概念。为了完成这项任务，应该集中精力揭示支持-查询对之间的准确关系。我们提出了一个转导关系-传播图神经网络(TRPN)，以显式地建模和传播这种关系跨支持查询对。我们的TRPN将每个支持查询对之间的关系视为一个图节点，称为关系节点，并利用支持样本之间的已知关系(包括类内共性和类间唯一性)来指导关系在图中的传播，生成支持查询对的判别关系嵌入。进一步引入伪关系节点传播查询特征，设计了一种快速有效的转换学习策略，充分利用不同查询之间的

小样本学习的目标是学习一个分类器，即使在每个类的训练实例数量有限的情况下也能很好地概括。最近引入的元学习方法解决了这个问题，它通过在大量的多类分类任务中学习一个通用分类器，并将模型推广到一个新任务中。然而，即使有了这种元学习，新的分类任务中的低数据问题仍然存在。在本文中，我们提出了一种新的转导传播网络(TPN)，它是一种新颖的元学习框架，可以对整个测试集进行一次性分类，以缓解低数据量的问题。具体来说，我们建议通过学习利用数据中的流形结构的图构造模块，来学习如何将标签从标记的实例传播到未标记的测试实例

现有的方法大多是通过语义嵌入或特征生成来隐式地捕获看不见的关系，导致关系的使用不足，存在一些问题。为了解决这些挑战，我们提出了可转移图生成(TGG)方法，该方法通过图生成来建模和明确利用关系。

大多数基于图网络的元学习方法建模实例级的实例关系。我们将这一思想进一步扩展，以1-vs- n的方式显式地建模一个示例与所有其他示例的分布级关系。提出了一种新的分布式传播图网络(DPGN)算法。它同时表达了每一个小样本学习任务的分布级关系和实例级关系。为了将所有实例的分布级关系和实例级关系结合起来，构造了一个由点图和分布图组成的对偶完全图网络，每个节点代表一个实例。DPGN采用双图结构，在几次更新中，将标签信息从有标签的例子传播到无标签的例子。在少量学习基准的大量实验中，DPGN在监督设置下的表现比最先进的结