小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】

最新推荐文章于 2024-07-14 15:43:48 发布
最新推荐文章于 2024-07-14 15:43:48 发布
阅读量1w 收藏 88
点赞数 7
分类专栏： 机器学习/ML 文章标签： 机器学习 小样本学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/123370408
版权
本文综述了小样本学习（Few-shot Learning）的方法，包括基于模型微调、数据增强和迁移学习。模型微调通过在大规模数据上预训练，然后在小样本上微调；数据增强通过无标签数据、数据合成和特征增强提高样本多样性；迁移学习则利用源领域知识迁移到目标领域。实验表明，数据量增加有助于提高分类效果。小样本学习仍面临预训练模型、深度学习可解释性、数据集挑战等问题，未来研究方向包括无标注数据利用、提高模型可解释性、设计更好的度量和元学习方法、探索图神经网络应用以及融合多种方法。
摘要由CSDN通过智能技术生成

分类非常常见，但如果每个类只有几个标注样本，怎么办呢？

比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。

面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。

一、小样本学习方法

1、基于模型微调的小样本学习

基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调,得到微调后的模型.若目标数据集和源数
据集分布较类似,可采用模型微调的方法.

为了使微调后的小样本分类模型取得较好的效果,使用何种微调方法需要被考虑.Howard 等人[14]在 2018
年提出了一个通用微调语言模型(universal language model fine-tuning,简称 ULMFit).与其他模型不同的是,此方
法使用了语言模型而非深度神经网络.该模型分为3个阶段:(1) 语言模型预训练;(2) 语言模型微调;(3) 分类器
微调.该模型的创新点在于改变学习速率来微调语言模型,主要体现在两个方面.

  1. 传统方法认为,模型每一层学习速率相同;而ULMFit中,语言模型的每一层学习速率均不相同.模型底 层表示普遍特征,这些特征不
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 7
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
订阅专栏
Generalizing from a Few Examples: A Survey on Few-Shot Learning
weixin_38654615的博客
01-08 1818
Generalizing from a Few Examples: A Survey on Few-Shot Learning 论文地址：paper 这篇概述很简洁：简介的论文解读 一、 摘要 机器学习在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot learning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。FSL的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把
小样本多变量时间序列回归预测-随机森林+线性回归+梯度提升
m0_51372869的博客
03-11 2787
来讲一下实习碰到的实际问题，针对每个小样本set进行多变量的时序预测，但是每个set的样本数比较少，12-46个不等；
机器学习 同样数量样本和目标_样本量极少如何机器学习？Few-Shot Learning概述
weixin_42298817的博客
01-28 2189
1. 样本量极少可以训练机器学习模型吗？ 在训练样本极少的情况下（几百个、几十个甚至几个样本），现有的机器学习和深度学习模型普遍无法取得良好的样本外表现，用小样本训练的模型很容易陷入对小样本的过拟合以及对目标任务的欠拟合。但基于小样本的模型训练又在工业界有着广泛的需求（单用户人脸和声纹识别、药物研发、推荐冷启动、欺诈识别等样本规模小或数据收集成本高的场景），Few-Shot Learning...
MICS2024｜少样本学习、多模态技术以及大语言模型在医学图像处理领域的研究进展｜24-07-14
最新发布
罗小罗同学的博客
07-14 1206
职位: 博士生导师，研究员工作单位: 中国科学院深圳先进技术研究院研究领域多模态肿瘤图像计算成像与智能分析图像重建、分割、建模和可视化在正式分析之前，要夸一句秦老师课题组做的这个网站，比大部分的课题组都要弄的专业，非常适合展现组内的研究成果。由于小罗是研究病理的，所以我就分析一篇秦老师课题组在月初发表的与病理相关的文献。期刊IF5.4这篇文章提出了一种名为DAI-Net的新型零样本日间-夜间领域自适应网络，通过学习光照不变的特征表示来提升低光照环境下的物体检测性能。
小样本学习（Few-shot Learning）综述
热门推荐
Paper weekly
04-01 2万+
作者丨耿瑞莹、李永彬、黎槟华单位丨阿里巴巴智能服务事业部小蜜北京团队分类非常常见，但如果每个类只有几个标注样本，怎么办呢？笔者所在的阿里巴巴小蜜北京团队就面临这个挑战。我...
few-shot learning综述
Lily8888888的博客
07-18 349
转自
最新《小样本学习(Few-shot learning)》2020综述论文【香港科技大学】.pdf
04-13
本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇参考文献，来自第四范式和香港科技大学习的研究学者。
Few-shot Learning survey-精简高效版-小样本综述
mohong96的博客
10-23 631
一、Few-shot Learning问题定义 Few-shot Learning是Meta Learning 在监督学习领域的应用。Meta Learning（元学习），又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，在 meta testing 阶段，面对全新的类别，不需要变动...
Pareto Self-Supervised Training for Few-Shot Learning.pdf
11-17
在机器学习领域，小样本学习（Few-Shot Learning, FSL）是一个重要的研究方向，它致力于在极少量标记数据的情况下让模型快速泛化到新概念。然而，由于数据稀疏，传统的深度学习方法在此场景下往往表现不佳。为了解决...
对小样本数据进行数据增强
12-20
一、前情介绍 在之前对yolov3的学习中，有时候发现小样本数据集容易出现过拟合或者泛化能力不强的问题，在对这一问题提出的不同解决方法进行了摸索和尝试，发现提高数据集样本容量是一个比较直接和简单粗暴的方法，以下纪录这一实验方法。 二、环境 直接交代环境，都是相对较简单，在这里博主没遇到过坑 os numpy PIL imgaug 三、代码 import xml.etree.ElementTree as ET import os import numpy as np from PIL import Image import shutil import imgaug as ia from imga
最新《小样本学习》综述教程（来自CVPR 2020）
06-20
在过去的几年里，基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果，如图像分类、目标检测或语义分割。然而，真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习，(b)不断适应新的数据而不忘记之前的知识。不幸的是，经典的监督深度学习方法在设计时并没有考虑到这些需求。
小样本学习研究综述（发表自软件学报）
12-05
小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下，机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中，样本量很少或者标注样本很少，而对大量无标签样本进行标注工作将会耗费很大的人力。
【论文笔记】PARN: Position-Aware Relation Networks for Few-Shot Learning
Neal_YG的博客
03-07 1547
【title】PARN: Position-Aware Relation Networks for Few-Shot Learning 【link】https://arxiv.org/pdf/1909.04332.pdf 【key words】Few-shot Learning Problem 对于人类来说，可以通过已经掌握的知识，快速学会判别新东西。然而现在的深度学习算法往往时数据驱...
【小样本分割】MSANet: Multi-Similarity and Attention Guidance for Boosting Few-Shot Segmentation
栗子菜菜
07-26 3233
小样本分割的目的是在只有少量密集标记样本的情况下分割看不见的类对象。原型学习，即从支持图像中提取的特征通过平均全局和局部对象信息生成单个或多个原型，已广泛应用于FSS。然而，仅利用原型向量可能不足以表示所有支持图像的特征。为了提取丰富的特征并进行更精确的预测，我们提出了一种多相似性和注意力网络（MSANet），包括两个新模块，一个多相似性模块和一个注意力模块。多相似度模块利用支持图像和查询图像的多个特征图来估计准确的语义关系。注意力模块指示MSANet专注于与类别相关的信息。httpshttps。...
few-shot learning 小样本学习---综述
xys430381_1的专栏
05-30 8372
小样本学习（Few-shot Learning）综述 （出自阿里巴巴团队2019年4月） Few-shot Learning: A Survey YAQING WANG1,2 , QUANMING YAO 2019
few-shot learning ---综述
kaenlee的博客
01-02 346
清华THUNLP多标签分类论文笔记：基于类别属性的注意力机制解决标签不均衡和标签相似问题 1.https://yam.gift/2019/12/15/Paper/2019-12-15-Few-Shot-Charge-Prediction-with-Discriminative-Legal-Attributes/ 2.https://blog.csdn.net/xys430381_1/...
小样本学习——概念、原理与方法简介（Few-shot learning）
hellozhxy的博客
06-20 4122
通常，我们用 � 来表示输入数据，� 来表示监督信息， � 和 � 分别表示输入数据和监督信息的空间。一个典型的FSL任务数据则被描述为 ��=(����,����)其中：用于任务 � 的样本 ��,�� 来自一个特定的域 ，��={��，�(��)} ，由数据空间 �� 和边际概率分布 �(��) 组成。通常，在 ���� 中有 � 个任务类，每个类只有 � （非常小，例如1、5）个样本，即 ���� = �� ，这也称为C-way,K-shot任务。
基于数据增强的小样本学习
06-06
基于数据增强的小样本学习是一种机器学习策略，特别适用于训练数据集非常有限的情况。在小样本情况下，传统的模型可能会过拟合，因为它们容易记住训练数据中的噪声。数据增强则通过在原始数据上应用一系列随机的变换，如旋转、翻转、裁剪或缩放，生成新的训练样本，从而增加数据的多样性，有助于模型更好地泛化到未见过的数据。 具体做法包括： 1. **随机变换**：对图像进行不同角度、亮度、对比度等变化，模拟真实世界中的多样性。 2. **合成样本**：对于文本，可能生成拼写错误或语法变换的版本；对于图像，可以使用风格迁移技术创建类似的新图片。 3. **对抗性训练**：通过添加针对模型的特定扰动来提高模型对噪声和攻击的抵抗力。 这种方法的优点是能够有效利用现有信息，提升模型的性能，尤其是在计算机视觉和自然语言处理等领域。然而，数据增强的效果依赖于变换的合理性和多样性，需要谨慎设计。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值