深度学习基础知识干货 | 什么是few-shot learning

已于 2024-05-30 14:57:58 修改
阅读量921 收藏 20
点赞数 22
分类专栏： 深度学习基础知识 文章标签： 机器学习 算法 人工智能 few-shot 小样本
于 2024-03-22 20:56:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45842681/article/details/136951743
版权
本文概述了深度学习中的关键概念和技术，包括多模态大模型（如GroundingDINO和CLIP），以及基础模块如BatchNormalization和卷积计算。重点介绍了few-shot学习，元学习方法，以及用于评估的Omniglot和Mini-ImageNet数据集。此外，文中还分享了针对小样本学习的技巧，如好的初始化、熵正则化和余弦相似性等。
摘要由CSDN通过智能技术生成

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型

🐧深度学习基础知识篇

💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning

欢迎订阅专栏，第一时间掌握最新科技
大模型系列篇章 专栏链接
深度学习基础知识 专栏链接

文章目录

什么是few-shot learning

  • Few-shot learning is a kind a meta learning
  • meta learning: learn to learn

与传统监督算法的不同

  • 传统监督算法：要求模型识别训练数据，并且泛化到测试数据。
  • meta learning的目标是自己学会学习。

教小朋友判断动物的异同，就是元学习。具备了这个能力之后。

给小朋友support set让他自己去学习，
他有能力把support set与query对应起来。

few-shot learning 预测的是新的类别，没见过
而监督学习训练的时候是见过这个类别的。

few-shot learning通过对比support set 与 Query的相似度 来判断是什么类别

few-shot leaning 术语

  • k-way: the support set has k classes
  • n-shot: every class has n samples

3-way is easier than 6-way

学一个函数来判断相似度

  1. 从一个很大的训练集上学习相似度函数（它可以判断两张图片的相似度有多高）
  2. 训练结束之后，可以用训练得到的相似度函数进行预测

meta learning的标准数据集：评价模型的表现

  1. Ominiglot：1600 class 20 sample
    50 个字母表 字母

50 个字母表：拉丁语，希腊语。。。
每个字母表有很多字符：希腊语（24个）字符
每个字符由20个人手写。
每个样本是105x105的小图片

训练集一共有30个字母表, 包含946个字符（类别），总共19280个样本
测试机一共有20个字母表，包含659个类别，总共有13180个样本

  1. Mini-ImageNet
    100个类别：每个类别有600个样本。 84x84的小图片。

使用

思想：在大规模数据集上做预训练，在小规模的support-set做fine-tune

操作：
把query 和 support set 中的图片都映射成特征向量， 比较他们在特征空间上的相似度。
在support set 上学习W,b 进行fine-tuning.
用cross Entropy来衡量yj 与 pj的差别有多大。
support set中的每个样本都对应一个cross entropy loss, 把这些cross entropy loss 加起来，作为目标函数。也就是说我们用suuport set里面所有图片和标签 来学习这个分类器。让目标函数做minimization，让预测pj尽量接近真实标签yj

support set太少了，最好加一个regularization 来防止过拟合

Trick 1: A Good Initialization

  • Prediction made by Softmax classifier: 我们想要从support set中学习这样一个softmax分类器
    p = softmax(w.f(x) + b) 矩阵W和向量b是分类器参数 参数的初始化很重要，set中的样本数量太少了
    可以把W初始化为矩阵M，把b初始化为全零向量

Trick 2: Entropy Regularization

  • Entropy： 衡量概率分布p的信息量
  • 对于每一个query，求出一个entropy，然后再取平均
  • 我们希望Entropy Regularization 越小越好，这样置信度高的很高，低的很低

Trick 3: Cosine Similarity + Softmax Classifier

???/cy
关注
专栏目录
超强干货|APP规范实例-详细的UI设计规范
02-26
界面布局是APP设计中最为基础和重要的部分，它决定了应用的整体结构和用户操作的流畅性。在设计界面布局时，设计师需要考虑操作的直观性，确保用户能够迅速找到所需功能，并且在不同的设备上能够保持一致的使用体验...
小样本学习——概念、原理与方法简介（Few-shot learning）
hellozhxy的博客
06-20 4405
通常，我们用 � 来表示输入数据，� 来表示监督信息， � 和 � 分别表示输入数据和监督信息的空间。一个典型的FSL任务数据则被描述为 ��=(����,����)其中：用于任务 � 的样本 ��,�� 来自一个特定的域 ，��={��，�(��)} ，由数据空间 �� 和边际概率分布 �(��) 组成。通常，在 ���� 中有 � 个任务类，每个类只有 � （非常小，例如1、5）个样本，即 ���� = �� ，这也称为C-way,K-shot任务。
小样本学习(few-shot learning)介绍
Bluebro的博客
04-10 1万+
小样本学习（few-shot learning，FSL）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在FSL设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。 FSL任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5
利用langchain 做大模型 Few-shot Learning 提示，包括固定和向量相似的动态样本筛选
最新发布
jieshenai的博客
08-01 956
本文介绍了Few-shot Learning，相对于大模型微调，通过提供少量样本示例来提升模型在特定任务上的表现。固定样本提示每次使用相同的示例，而动态样本提示则根据当前任务选择相似的示例。通过示例代码展示了如何在LangChain中实现固定和动态样本提示，以及如何利用向量相似度算法选择最相似的样本进行推理，从而提高模型性能。
小样本学习(Few-Shot Learning)
hellozhxy的博客
06-21 8797
本文讲解小样本学习问题的Pretraining+Fine Tuning解法。本文使用飞桨（PaddlePaddle）基于数据集实践小样本学习问题的Pretraining+Fine Tuning解法。
熵正则化和熵最小化：Entropy Minimization & Regularization
热门推荐
u012420553的博客
09-18 2万+
熵正则：Entropy Regularization摘要 摘要
【学习笔记】小样本学习（Few-shot Learning）
iioSnail的博客
04-09 2万+
参考视频：https://www.youtube.com/watch?v=UkQ2FVpDxHg 基本概念 小样本学习（few-shot learning）是什么：就是使用很少的样本来进行分类或回归 Few-shot Learning的目标：让机器学会自己学习 小样本学习的直观理解： ① 前提：首先要知道，训练一个模型的目的不是为了让模型如何分辨大象和蚂蚁，而是让模型具有判断图片“异同”的能力，即让模型看到两张图片后，它能分别出这俩是不是一个类别。这样，当我们在用大数据集训练出一个分类器后，在测试阶段给.
Few-Shot Learning
Harris-H的博客
09-16 1323
Few-Shot Learning
深度学习干货资料
01-22
含有优秀资料的大礼包，欢迎下载！
干货分享|如何基于知识图谱玩转金融知识问答系统？
01-27
知识图谱在金融知识问答系统中的应用 金融知识问答系统借助知识图谱，可以显著提升信息检索和问题解答的效率，提供更为精准和直接的答案。这是因为知识图谱以图形结构组织知识，通过实体（如人、公司、金融产品）和...
Few-Shot Learning：基本概念
Bluebro的博客
11-12 1429
1.few-shot learing（少样本学习）：意思是用少量带标签的样本来训练就得到一个好的模型去做分类或回归任务 2.few-shot learning是一种meta learning（元学习），**它的目标是learn to learn，即让计算机自己学会学习。 3.Support Set：meta learning中的术语，指很小的样本集，不足以训练大的神经网络，只能在预测时提供一些参考信息。Support Set与训练集不同，训练集很大，足以训练神经网络。 4.query：要预测的图片
Entropy regularization for unsupervised clustering with adaptive
一舟的博客
11-01 456
自适应邻域无监督聚类的熵正则化输入亲和矩阵仅基于距离测量，在概率预测下缺乏明确的物理意义仍需要操作其他离散化程序。为了解决这些问题，我们提出新的聚类模型，称为：基于自适应无监督聚类的熵正则化（ERCAN） 动态和同时更新亲和矩阵和聚类结果。首先，在概率模型中引入最大熵正则化项，以避免平凡的相似性分布。此外，我们新引入了基于L0范式的拉普拉斯秩约束来构造自适应邻域，以获得稀疏性和强度分割能力，而无需额外的离散化过程。
本周的总结
zn961018的博客
11-28 3187
目录 本周完成的计划 论文阅读1 Abstract（摘要） 1. Introduction（介绍） 2. Pseudo-Label Method for Deep Neural Networks（深度神经网络的伪标记法） 2.1. Deep Neural Networks（深度神经网络） 2.2. Denoising Auto-Encoder（去噪自编码器） 2.3. Dropout 2.4. Pseudo-Label（伪标签） 3. Why could Pseudo-Label ...
半监督学习（五）——半监督支持向量机
山有山的高度，海有海的胸怀。
11-01 5367
半监督支持向量机（S3VMs） 　　今天我们主要介绍SVM分类器以及它的半监督形式S3VM，到这里我们关于半监督学习基础算法的介绍暂时告一段落了。之后小编还会以论文分享的形式介绍一些比较新的半监督学习算法。让我们开始今天的学习吧~ 引入 　　支持向量机（SVM）相信大家并不陌生吧？但是如果数据集中有大量无标签数据（如下图b），那么决策边界应该如何去确定呢？仅使用有标签数据学得的决策边界（如下...
few-shot learning
hellozhxy的博客
06-21 284
Few-shot Learning 是 Meta Learning 在监督学习领域的应用。Meta Learning，又称为learning to learn，该算法旨在让模型学会“学习”，能够处理类型相似的任务，而不是只会单一的分类任务。举例来说，对于一个LOL玩家，他可以很快适应王者荣耀的操作，并在熟悉后打出不错的战绩。人类利用已经学会的东西，可以更快的掌握一些新事物，而传统的机器学习方法在这方面的能力还有所欠缺，因此提出了元学习这个概念。
few-shot learning 基本概念及其网络模型
weixin_42432619的博客
07-26 4193
文章标题：Semi-supervised few-shot learning for medical image segmentation
Few-shot learning
sophicchen的专栏
04-07 781
1. 前言 Few-shot Learning顾名思义就是用很少的样本去做分类或者回归。举个简单的例子：假如现在有一个Support Set只有四张图片，前两张是犰狳（读音：qiú yú），又称“铠鼠”。后面两张是穿山甲，不用在乎太在意是否认识这两种动物，只需要区分这两种动物就行了，从现在开始观察10s，下面有一张测试图。 那么接下来进入测试环节：下面这张图是犰狳还是穿山甲呢？如果不能正常分类，那你基本就告别手表了！看过上面四张图片正常人都能做出正常判断，那么计算机是否能正确分类呢？如果每个训练集只
few shot learning-小样本学习入门
winycg的博客
04-22 1万+
基本概念 小样本学习（few shot learning，FSL）可以看做每个类别样本数目远远小于类别数目，也就是说每个类别仅仅只有几个样本可供训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值