P＞M＞F：基于预训练-元训练-微调流程的小样本学习方法

最新推荐文章于 2024-06-09 09:48:32 发布

Civisky

最新推荐文章于 2024-06-09 09:48:32 发布

阅读量1.4k

点赞数 2

文章标签：计算机视觉深度学习机器学习

原文链接：https://arxiv.org/abs/2204.07305

版权

原文：Hu S X, Li D, Stühmer J, et al. Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 9068-9077.

源码：https://github.com/hushell/pmf_cvpr22

小样本学习(FSL)是计算机视觉中一个重要且热门的问题，它激发了从复杂的元学习方法到简单的迁移学习方法的大量研究。为了获得更加现实可用的小样本图像分类方法，我们试图突破简单但有效的流程的极限。为此，我们从神经网络架构的角度探究了小样本学习，以及不同数据供给下的三阶段网络更新流程，其中，无监督的外部数据用于预训练，基础类别数据用于模拟小样本任务的元训练，几乎没有标记的数据用于微调。我们研究了以下问题：1.基于外部数据的预训练对FSL有何益处？2.如何利用最先进的Transformer架构？3.微调如何缓解跨域迁移？我们提出了一个简单的基于Transformer的流程，在Mini-ImageNet、CIFAR-FS、CDFSL和Meta-Dataset等基准上产生了令人惊讶的良好性能。

图1. 预训练方法和骨干网络架构是如何影响小样本学习的？

如图1所示，小样本学习可以通过元学习和迁移学习(基于大规模外部数据预训练的自监督模型)来实现。虽然大多数FSL研究人员关注的是前者，但我们表明后者可能更有效，因为它可以使用更强大的骨干网络架构(如Vision Transformer)，并且可以与简单的元学习器(如ProtoNet)相结合。图1展示了过去5年的数十项FSL研究结果，黄色星号表示ProtoNet+ViT+CLIP的结果。为了强调预训练的重要性，这里还给出了ProtoNet+随机初始化ViT的结果(蓝色方块)。

图2. 预训练→元训练→微调(P>M>F)流程图。该流程首先将预训练骨干网络(class-agnostic)转换为元训练骨干网络(generic)，然后再转换为特定于任务的微调骨干网络(task-specific)。

如图2所示，为了实现高性能的小样本学习，我们使用单个特征提取骨干网络，在一个简单的顺序流程中将预训练和元学习结合在一起。我们的流程包括三个阶段：1.使用自监督损失在未标记的外部数据上预训练特征提取骨干网络。2.使用ProtoNet损失在有标记的模拟小样本任务上对特征提取骨干网络进行元训练。3.在新的小样本任务上部署特征提取骨干网络，并基于每个任务的增强支持集进行微调。我们称之为P>M>F(预训练→元训练→微调)。