少样本学习综述

1.少样本学习方法

少样本学习中有三种主要方法需要了解:元学习、数据级和参数级。

• 元学习:元学习包括训练一个模型，学习如何有效地学习新任务;

• 数据级:数据级方法侧重于增加可用数据，以提高模型的泛化性能;

• 参数级:参数级方法旨在学习更健壮的特征表示，以便更好地泛化到新任务中

1.1元学习

元学习(学习如何学习)。元学习是FSL的一种流行方法，它涉及到在各种相关任务上训练模型，以便它能够学习如何有效地学习新任务。该算法学习从可用数据中提取任务无关和任务特定的特征，快速适应新的任务。这种方法训练一个模型学习如何有效地学习新任务。这个模型是关于识别不同任务之间的共同点，并使用这些知识通过几个例子快速学习新东西。

元学习算法通常在一组相关任务上训练模型，并学习从可用数据中提取与任务无关的特征和特定于任务的特征。任务无关的特征捕获关于数据的一般知识，而任务特定的特征捕获当前任务的细节。在训练过程中，算法通过仅使用每个新任务的几个标记示例更新模型参数来学习适应新任务。这使得模型可以用很少的示例推广到新的任务。

元学习算法可以大致分为两种类型:基于度量的和基于梯度的。

1.1.1基于度量的元学习

基于度量的元学习算法学习一种特殊的方法来比较每个新任务的不同示例。他们通过将输入示例映射到一个特殊的特征空间来实现这一点，在这个空间中，相似的示例放在一起，而不同的示例则分开很远。模型可以使用这个距离度量将新的示例分类到正确的类别中。

一种流行的基于度量的算法是Siamese Network，它学习如何通过使用两个相同的子网络来测量两个输入示例之间的距离。这些子网络为每个输入示例生成特征表示，然后使用距离度量(如欧几里得距离或余弦相似度)比较它们的输出。

1.1.2基于梯度元的学习

基于梯度的元学习学习如何更新他们的参数，以便他们能够快速适应新的挑战。

这些算法训练模型学习一组初始参数，只需几个例子就能快速适应新任务。MAML (model - agnostic元学习)是一种流行的基于梯度的元学习算法，它学习如何优化模型的参数以快速适应新任务。它通过一系列相关任务来训练模型，并使用每个任务中的一些示例来更新模型的参数。一旦模型学习到这些参数，它就可以使用当前任务中的其他示例对它们进行微调，提高其性能。

1.2数据级方法

数据级方法侧重于扩充现有数据，这样可以帮助模型更好地理解数据的底层结构，从而提高模型的泛化性能。

主要思想是通过对现有示例应用各种转换来创建新的示例，这可以帮助模型更好地理解数据的底层结构。

有两种类型的数据级方法:

• 数据增强:数据增强包括通过对现有数据应用不同的转换来创建新的示例;

• 数据生成:数据生成涉及使用生成对抗网络(GANs)从头生成新的示例。

1.3参数级方法

参数级方法目标是学习更健壮的特征表示，可以更好地泛化到新的任务。

有两种参数级方法:

• 特征提取:特征提取涉及从数据中学习一组特征，可以用于新任务;

• 微调:微调包括通过学习最优参数使预训练的模型适应新任务。

例如，假设你有一个预先训练好的模型，它可以识别图像中的不同形状和颜色。通过在新数据集上微调模型，只需几个示例，它就可以快速学会识别新的类别。