什么是小样本元学习？

目录

元学习

（1）元训练阶段

（2）元测试阶段

示例说明

参考：

---

元学习

整个训练过程可分为元训练和元测试两个阶段，在元训练阶段，通过组合不同的训练集构建不同的元任务，使得模型学习独立于任务的泛化能力；在元测试阶段，模型不需要重新训练或仅需少量迭代次数即可学习新任务，最终实现“学会学习”。在训练过程中，模型通过支持集中的样本进行学习，然后在查询集中进行测试和评估。

（1）元训练阶段

在元训练阶段，模型通过一系列的元任务（meta-tasks）进行训练。每个元任务由一个训练集（支持集）和一个测试集（查询集）组成：

1. 支持集（Support Set）：用于模型在该任务上的训练。支持集包含了一组样本和对应的标签。
2. 查询集（Query Set）：用于模型在该任务上的测试和评估。查询集包含了一组不同于支持集的样本和对应的标签。

通过多次在不同的元任务上进行训练，模型学会了如何快速适应新任务。这一过程旨在让模型获得任务无关的泛化能力，即能够从少量数据中迅速推断出新的任务。

具体步骤如下：

1. 采样任务：从训练任务分布中随机采样一个任务。
2. 训练支持集：在支持集上训练模型，这通常涉及几个梯度下降步骤。
3. 测试查询集：在查询集上评估模型的性能。
4. 更新模型参数：根据查询集上的评估结果，更新模型的参数。

这种循环会持续进行，直到模型在训练任务上表现良好。

（2）元测试阶段

在元测试阶段，模型需要应对以前未见过的新任务。此时，模型利用在元训练阶段学到的知识，通过少量的数据和迭代次数迅速适应新任务：

1. 新任务采样：从测试任务分布中采样一个新的任务。
2. 支持集学习：在该任务的支持集上进行训练，通常只需少量的训练数据和迭代次数。
3. 查询集测试：在该任务的查询集上评估模型的性能。

在理想情况下，经过元训练的模型能够在极少量的新数据（支持集）上进行快速的适应，并在新任务的查询集上表现出色。这种能力被称为“学会学习”（learning to learn）。

示例说明

图1 2-way 3-shot 任务的训练范式

假设我们在处理图像分类问题。元训练阶段可能包含不同类别组合的图像分类任务，比如：

• 第一个任务：支持集包含猫和鸟的图片，查询集也包含猫和鸟的图片。
• 第二个任务：支持集包含狗和鱼的图片，查询集也包含狗和鱼的图片。

经过多次这样的任务训练，模型学习到了一般化的分类知识。在元测试阶段，模型可能面对一个全新的任务，比如羊和马的分类：

• 新任务：支持集包含羊和马的图片，查询集也包含羊和马的图片。

模型利用在元训练阶段学到的知识，能够迅速在支持集上进行学习，并在查询集上进行准确分类。

这种元学习方法在少样本学习、跨任务泛化等领域具有广泛的应用前景。

参考：

https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/133758785