Few-shot Learning：知识点

最新推荐文章于 2024-04-25 10:01:55 发布
最新推荐文章于 2024-04-25 10:01:55 发布
阅读量894 收藏 16
点赞数 14
分类专栏： 小样本 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45022770/article/details/129189064
版权

目标： 让机器自己学会学习，学会理解和判断事物的异同（如，区分两张图片内是相同的东西还是不同的东西，不是识别出是什么东西）

Pretraining

前景知识

  • C o s i n e   S i m i l a r i t y Cosine \ Similarity Cosine Similarity

作用： 衡量两个向量之间的相似度

在这里插入图片描述

在这里插入图片描述

  • S o f t m a x Softmax Softmax:

在这里插入图片描述
在这里插入图片描述

  • S o f t m a x   C l s s i f i e r Softmax \ Clssifier Softmax Clssifier
    在这里插入图片描述

具体过程

  1. 利用深度神经网络来提取特征，该网络需要被预训练 —— 结构和预训练方法会对最终结果产生影响
  2. 拿预训练的网络对 S u p p o r t   S e t Support \ Set Support Set 中的各任务（各类别， K   W a y K \ Way K Way）提取特征—— 每个任务中的各元素分别提取特征（ N   S h o t N \ Shot N Shot），再合起来做均值，再做归一化，成为该任务（类别）的表征
    在这里插入图片描述
  3. 对 Q u e r y Query Query 做分类
    在这里插入图片描述
    在这里插入图片描述

F i n e   T u n i n g Fine \ Tuning Fine Tuning

背景： P r e t r a i n i n g Pretraining Pretraining 中的分类一步即 S o f t M a x SoftMax SoftMax函数的输入可以是 w × x + b w \times x + b w×x+b，但之前设定 W = M , b = 0 W=M,b=0 W=M,b=0

Fine \ Tuning： 在 s u p p o r t   t u n i n g support \ tuning support tuning中训练分类器，即训练 w w w和 b b b—— 可以提高准确性
在这里插入图片描述
小技巧：

  • 好的初始化：原先就直接拿 M M M进行分类的
    在这里插入图片描述
  • E n t r o p y   R e g u l a r i z a t i o n Entropy \ Regularization Entropy Regularization
    在这里插入图片描述
  • C o s i n e   S i m i l a r i t y Cosine \ Similarity Cosine Similarity + S o f t m a x   C l a s s i f i e r Softmax \ Classifier Softmax Classifier
    在这里插入图片描述
    在这里插入图片描述
    就是内积前做了一个归一化
明前大奏
关注
专栏目录
Learning to Compare: Relation Network for Few-Shot Learning
wohoo~
07-27 1126
Relation Network
Interventional Few-Shot Learning
yanhu6955的博客
11-30 2788
1 Introduction 作者提出在FSL中存在使用越强的预训练模型可以使得算法性能提高的悖论，其原因是预训练模型的旧知识会产生误导性从而看不见新知识，该悖论揭示了FSL中未知的系统性缺陷。在该文献中，作者首先指出了这一缺陷的原因：预训练可能会在FSL中产生不良影响，然后提出了一种新的FSL范式：介入性小样本学习(IFSL)，以对抗这种不良影响，其理论基于预先训练的知识、小样本和类别标签之间的因果关系的假设。 2 Methodology 2.1 Few-Shot Learni...
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
wzk4869的博客
03-09 1万+
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
探索`easy-few-shot-learning`：轻松实现少量样本学习
最新发布
gitblog_00032的博客
04-25 415
探索easy-few-shot-learning：轻松实现少量样本学习 easy-few-shot-learning Ready-to-use code and tutorial notebooks to boost your way into few-shot learning for image classifica...
easy-few-shot-learning:易于使用的代码和教程笔记本，助您轻松实现几幅图像分类
05-18
简单易学 易于使用的代码和教程笔记本，助您轻松完成几幅图像分类。 如果满足以下条件，则为您创建此存储库： 您是初学者学习的新手，想学习； 或者您正在寻找可用于项目的可靠，清晰且易于使用的代码。 不要在拥有数百种方法的大型存储库中迷路，也不必对如何使用它们进行任何解释。 在这里，我们希望每行代码都包含在一个教程中。 里面有什么？ 笔记本：学习和练习 您想学习一次性学习，不知道从哪里开始？ 从我们的教程开始。 您可以使用和理解的代码 楷模： ：一个抽象类，其方法可用于任何可元训练的算法 数据加载工具： ：易于使用的Dataset对象，用于按类别对目录进行拆分以处理图像的数据集 ：以几次快照分类任务的形式对批次进行采样 数据集以测试您的模型 CU-Birds ：我们提供了一个脚本来下载和提取数据集，以及沿着类的元训练/元数据/元测试分割。 该数据集可与EasySet一起使用。
小样本学习(few-shot learning)介绍
Bluebro的博客
04-10 1万+
小样本学习（few-shot learning，FSL）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在FSL设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。 FSL任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5
Few-shot learning
sophicchen的专栏
04-07 846
1. 前言 Few-shot Learning顾名思义就是用很少的样本去做分类或者回归。举个简单的例子：假如现在有一个Support Set只有四张图片，前两张是犰狳（读音：qiú yú），又称“铠鼠”。后面两张是穿山甲，不用在乎太在意是否认识这两种动物，只需要区分这两种动物就行了，从现在开始观察10s，下面有一张测试图。 那么接下来进入测试环节：下面这张图是犰狳还是穿山甲呢？如果不能正常分类，那你基本就告别手表了！看过上面四张图片正常人都能做出正常判断，那么计算机是否能正确分类呢？如果每个训练集只
gpt3-Language-Models-are-Few-Shot-Learners.pdf
06-04
知识点： 1. Few-Shot Learning：机器学习领域的一个重要研究方向，旨在让模型能够从少量样本中学习新的任务并达到良好的泛化能力。 2. 语言模型（Language Model）：一种机器学习模型，旨在学习和模拟自然语言的...
《Few-Shot Learning with Graph Neural Networks》——少样本学习与图神经网络
StreamRock的专栏
11-22 7287
目录一、简介二、【2】实现过程分析2.1 数据的准备2.2 GNN 网络2.2.1 特征提取网络2.2.2 顶点表达2.2.3 Adjacency 层2.2.4 Loss的解析2.3 数据验证所说明的问题三、GNN 的认识四、小结索引欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表...
Few-shot Learning survey-详细易懂-小样本综述
mohong96的博客
10-23 4332
目 录 1. 半监督学习 semi-supervised learning 3 1.1 基本概念 3 1.2 半监督学习的应用 4 1.3 半监督学习方法结构 5 1.4 半监督深度学习 6 2. 主动学习（Active Learning） 7 2.1 基本概念 7 2.2 应用领域以及场景 7 2.3 研究现状...
ChatGLM3-6B实践
m0_46671240的博客
03-25 438
Freeze方法指的是参数冻结，对原始模型的大部分参数进行冻结，仅训练少部分的参数，这样就可以大大减少显存的占用，从而完成对大模型的微调。特别是在Bert模型出来的时候，比较会常用到Freeze的这样一个微调方法，比如Bert有12层，我们把前10层冻结了，只训练后两层。这是一种比较简单微调方法，由于冻结的参数是大部分，微调的参数是少部分，因此在代码中只需要设置需要微调的层的参数即可，把不需要参加训练的层数 requires_grad 设置为False，不让其进行更新，从而达到冻结的这样一个效果。
小样本学习(Few-Shot Learning)
hellozhxy的博客
06-21 1万+
本文讲解小样本学习问题的Pretraining+Fine Tuning解法。本文使用飞桨（PaddlePaddle）基于数据集实践小样本学习问题的Pretraining+Fine Tuning解法。
Few-shot learning 少样本学习
Mind_programmonkey的博客
10-19 3229
N-way K-shot用来衡量网络泛化能力，但小样本在实际应用中并不是很好。 背景 深度学习已经广泛应用于各个领域，解决各类问题，在图像分类的问题下，可以很轻松的达到94%之上。然而，deep learning是一种data hungry的技术，需要大量的标注样本才能发挥作用。 但现实世界中，有很多问题是没有那么多的标注数据的，获取标注数据的成本也非常大。因此，我们讨论的是这样一个问题的场景，也就是小样本问题。它面临的问题是： 训练过程中有从未见过的新类，只能借助每类少数几个标注样本； 不改变已经训练好
few-shot learning是什么
Norstc的博客
10-23 1万+
小样本学习 来源：我们人类是具有快速从少量（单）样本中快速学习能力的，其实在我们学习的过程中，人类的大脑将对象和类别组成有用的信息将之分类。 首先需要声明的是，小样本学习属于迁移学习。 接着，举个例子详细阐述。人类从未见到过“澳大利亚的鸭嘴兽”，给我们一张鸭嘴兽的照片后，人类就认识了！ 有的朋友可能会想，为什么我们人类总是能快速的学习到未知的事物？简单的说，是因为人类生活中各种知识的积累以...
Few-shot learning（少样本学习）和 Meta-learning（元学习）概述
CaoChengtai的博客
06-18 6万+
目录（一）Few-shot learning（少样本学习）1. 问题定义2. 解决方法2.1 数据增强和正则化2.2 Meta-learning（元学习）（二）Meta-learning（元学习）1. 学习微调 (Learning to Fine-Tune)2. 基于 RNN 的记忆 (RNN Memory Based)3.度量学习 (Metric Learning)4.方法简单比较5.未来方向5...
few-shot基本概念
gaotihong的博客
05-26 1万+
Few-shot learning https://www.youtube.com/watch?v=UkQ2FVpDxHg&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=1&t=3s 1.问题的引出 通过很少的样本来进行分类/回归 给你四张图像，人类大概可以知道，查询图像是什么。 同样，机器也需要知道。 Support set：很少的数据集，例如每类图像有2张。这么少的样本不足以训练一个模型。 传统的监督学习：让机
当小样本遇上机器学习 fewshot learning
热门推荐
mao_feng的博客
12-30 9万+
引言深度学习(deeplearning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类目标的准确率目前可以轻松做到94%。然而，deeplearning是一种datahungry的技术，需要大量的标注样本才能发挥作用。图1 现实世界中，有很多问题是没有这么多的标注数据的，获取标注数据的成本也非常大，例如在医疗领域、安全领域等。因此，我们现在讨论的是...
小样本学习（Few-shot Learning）综述
Paper weekly
04-01 2万+
作者丨耿瑞莹、李永彬、黎槟华单位丨阿里巴巴智能服务事业部小蜜北京团队分类非常常见，但如果每个类只有几个标注样本，怎么办呢？笔者所在的阿里巴巴小蜜北京团队就面临这个挑战。我...
hybrid graph neural networks for few-shot learning
10-23
通过将预训练模型与图神经网络结合，混合图神经网络可以在少样本学习中利用预训练模型的知识，以更好地适应有限的数据。 最后，混合图神经网络还可以通过设计适当的注意力机制来提高学习效果。注意力机制可以使网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明前大奏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值