小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】

最新推荐文章于 2025-03-21 15:57:45 发布

u013250861

最新推荐文章于 2025-03-21 15:57:45 发布

阅读量1.1w

点赞数 7

分类专栏：机器学习/ML 文章标签：机器学习小样本学习

本文链接：https://blog.csdn.net/u013250861/article/details/123370408

版权

机器学习/ML 专栏收录该内容

38 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文综述了小样本学习（Few-shot Learning）的方法，包括基于模型微调、数据增强和迁移学习。模型微调通过在大规模数据上预训练，然后在小样本上微调；数据增强通过无标签数据、数据合成和特征增强提高样本多样性；迁移学习则利用源领域知识迁移到目标领域。实验表明，数据量增加有助于提高分类效果。小样本学习仍面临预训练模型、深度学习可解释性、数据集挑战等问题，未来研究方向包括无标注数据利用、提高模型可解释性、设计更好的度量和元学习方法、探索图神经网络应用以及融合多种方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分类非常常见，但如果每个类只有几个标注样本，怎么办呢？

比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。

面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。

一、小样本学习方法

1、基于模型微调的小样本学习

基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调,得到微调后的模型.若目标数据集和源数
据集分布较类似,可采用模型微调的方法.

为了使微调后的小样本分类模型取得较好的效果,使用何种微调方法需要被考虑.Howard 等人[14]在 2018
年提出了一个通用微调语言模型(universal language model fine-tuning,简称 ULMFit).与其他模型不同的是,此方
法使用了语言模型而非深度神经网络.该模型分为3个阶段:(1) 语言模型预训练;(2) 语言模型微调;(3) 分类器
微调.该模型的创新点在于改变学习速率来微调语言模型,主要体现在两个方面.