P26~27 self-supervised learning

最新推荐文章于 2024-11-04 10:51:20 发布
最新推荐文章于 2024-11-04 10:51:20 发布
阅读量142 收藏
点赞数
分类专栏： 李宏毅ML 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43758383/article/details/131029420
版权

supervised即有监督的ML，需要提供样本供model学习，然后对一个新的问题进行输出

而self-supervised则是一开始连样本都不提供，不给标注，没有label，自己想办法做supervised

 

如图，假设我们现在只有一堆文章x，没有标注

我们想办法把这些文字分成两部分，一部分用于模型的输入x'，另一部分用于模型的标注x''

通过输出y，拿y和label x''进行比较，越接近越好

 老师这里解释了为什么不叫unsupervised

可以将unsupervised和self-supervised看成两个集合A和B

则A的范围大于B,且A囊括了B

因为self-supervised只是unsupervised的其中一种

以BERT为例

BERT一般用于NLP，当然其他用途也可以，只不过一开始是用于NLP的

第一个涉及的是masking input

 

先随机的掩盖字，然后再决定怎么mask，mask的方法有

第一个可以采用使用特殊符号进行标记

第二个可以将该字随机的替换为其他的字

将掩盖处理后的句子经BERT进行输出，得到另外一个句子

掩盖部分所对应的输出得到一个向量，将该向量转换成一个矩阵，再进行softmax得到一组分布

该例子中得到湾的概率最大，所以BERT学习到湾这个字适合这里

BERT要做的就是要成功预测被掩盖的部分所属的类别

第二个涉及的是next sentence prediction

看两个句子是否接在一起

这个用处有文献说不大 ，稍微复杂一点的SOP文献说的比较少

 

 实际上BERT学到的是怎么做一个填空题，不过BERT可以被用来处理downstream tasks

这些tasks可以看起来与BERT无关

BERT就有点类似干细胞，后面可以分化成其他细胞来处理其他任务

那么我们如何使用BERT呢，老师举了3个例子

case1 情感分析

 该例子的BERT对应4个输入，也同时会产生4个输出，但我们只看CLS 

对CLS的输出向量乘以linear transformer矩阵，老师这个地方省略了一个softmax，然后输出类别

（这里需要有标注资料，BERT没有办法凭空去解决情感分析问题） 

case2 POS tagging

 输出和输入的长度相等，这个case是来判断输入每个词的词性

同样的也是提前需要一些label

case3 NLI

输入两个句子，让model来判断这两个句子是否有关

本例中 premise是一个人骑马跳过一架飞机，假设是这个人再一个小餐馆

明显无关，所以分类结果输出为 矛盾 

还是只看CLS，看他的class 

可以延申的用法为   一篇文章 ＋若干评论

用model来判断  评论与该文章的立场，赞成or反对

 如果说BERT是填空，那么GPT就是预测

 后面老师课堂上都是一些扩展，没有细讲就不写出来了

Ari-10010
关注
专栏目录
CutPaste Self-Supervised Learning for Anomaly Detection and Localization
一只科研的向光
03-25 2097
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 用于异常检测和定位的自监督学习 简洁版 问题：异常的检测和定位 现有工作不足： ​ 现有的工作主要关注以对象为中心的自然图像中的检测语义异常值，这种方式在检测细粒度异常方面，没有很好的通用性 ​ 现有工作的中数据增强的方式（旋转预测，对比）对检测局部缺陷来说是次优的 **解决问题的挑战: ** 很难获取大量异常数据 缺陷很小且细微 精确定位缺陷是一个挑战，很难
Self-labeled-techniques-for-semi-supervised-learning
05-15
标签中提到的"self-labeled"指的是自标记的过程，"semi-supervised-learning"表示半监督学习的场景，"tri-training"则是三重训练算法，"self-training"则对应自我训练方法。 项目报告可能涵盖了以下内容： 1. **...
supervised——＞self-supervised
weixin_41807182的博客
03-02 498
在CV中，以数据与神经网络为基础，我们通常以supervised的方式与unsupervised的方式来进行网络的训练，这些行为的目的都是为了想要使学到的网络能够具有较好的特征表示能力，以进行如分类、目标检测、语义分割等。这两种方式的主要异同在于数据是否有无label。 Supervised： 以简单的分类任务为例： 现有不同的猫的数据集：n张，标签均以1表示；不同的狗的数据集：n张，标签均以0表示； 以supervised的方式进行训练，将这些样例输入网络模型中，通过数据与标签构建损失，以进行梯度反传更新
自监督学习（Self-supervised Learning）
热门推荐
乐乐lelele的博客
12-08 5万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
Graph Self-Supervised Learning: A Survey
小蚂蚁与大象
08-24 1288
图的深度学习近年来引起了人们的极大兴趣。然而，大多数工作都集中在(半)监督学习上，导致了标签依赖严重、泛化能力差、鲁棒性弱等缺点。为解决这些问题，。与计算机视觉和自然语言处理等其他领域的SSL不同，图形上的SSL具有独特的背景、设计思想和分类方法。在图自监督学习的框架下，对对图数据采用SSL技术的现有方法进行了及时和全面的回顾。构建了一个统一的框架，从数学上形式化了graph SSL的范式。根据前置任务的目标，将这些。
CutPaste：Self-Supervised Learning for Anomaly Detection and Localization
weixin_49071493的博客
12-13 683
之前定义好的方法为旋转，平移，翻转等，还要对比学习，能成功的区分正常值和异常值，但是这些方法大多数是专注于检测语义的异常值，不能检测细粒度的异常缺陷，检测局部缺陷是次优的，而且虽然在学习语义概念的表示效率较高，但是规律性较低（意思就是：虽然可能能学到物体的特征是不受其图像中具体位置变化而变化的，但是难以捕捉其连续性，图像都不是连续的或者重复的）所以本文提出了一种新的增强策略cutpaste。本文的创新点为：设计一种新的代理任务，用于自监督，意思为：设计了一个新的方法cutpaste，来训练单分类模型。
Self-Supervised Learning 超详细解读 (目录)
MOL
12-09 9528
0 Motivation Self-Supervised Learning，又称为自监督学习，我们知道一般机器学习分为有监督学习，无监督学习和强化学习。 而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。 其主要的方式就是通过自己监督自己。作为代表作的 kaiming 的 MoCo 引发一波热议， Yann Lecun也在 AAAI 上讲 Self-Supervised Learning
Self-supervised Learning for Large-scale Item Recommendations
回锅肉炒肉的博客
06-28 884
  大规模推荐模型可以从庞大的目录中找到最相关的商品，在现代搜索和推荐系统中发挥着至关重要的作用。为了对具有大词汇量分类特征的输入空间进行建模，典型的推荐模型通过神经网络学习用户反馈数据中的查询和商品的联合嵌入空间。然而，由于语料库中有数百万到数十亿个商品，用户倾向于为其中很小的一组商品提供反馈，从而导致幂律分布。这使得长尾项目的反馈数据非常稀少。   受最近在计算机视觉和自然语言理解领域成功的自我监督表示学习研究的启发，我们提出了一个用于大规模项目推荐的多任务自我监督学习(SSL)框架。该框架旨在通过更好
Self-supervised Learning: Generative or Contrastive
浪荡子爱自由的博客
06-22 1581
清华大学唐杰老师组：自监督学习最新研究进展 提示：近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。 提示：另外还有两篇最近放出来的自监督学习的综述： 【1】Self-supervised Visual Feature Learning with Deep Neural .
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 2771
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
2022李宏毅机器学习深度学习学习笔记第四周--Self-Supervised Learning
qq_45612705的博客
05-15 1202
文章目录前言Self-Supervised Learning什么是Self-Supervised Learning 前言 提示：可以在这里引入话题，记得删除示例哦。 例如：我们在进行项目开发的时候可能会遇到一些获取屏幕宽度，dp px的相互转换等问题，我们当然不能每用一次就复制粘贴一次。这时候就需要一个利器-工具类。 这个工具类包含了我们一些公用的方法，只需要一句话我们就可以拿到想要的结果，既精简了我们的代码又省下了我们宝贵的时间。同时，一个好的软件工程师，万能的工具类便是他的护身法宝。（本段引用自：And
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
Pareto Self-Supervised Training for Few-Shot Learning.pdf
11-17
为了解决这个问题，自监督学习（Self-Supervised Learning, SSL）引入了一种新的思路，它通过利用未标记数据来构建监督信号，无需大量人工标注。 小样本辅助学习（Few-shot Auxiliary Learning）是结合FSL和SSL优势...
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 1825
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
自助餐剩余食品识别图像分割系统：教学内容全覆盖
最新发布
sgcsdn99的博客
11-04 1358
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
vickynesss的博客
11-01 839
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
如何在 AI 时代打造你的核心竞争力？
玉树芝兰
11-01 814
（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费）焦虑在《AI 研究已摘得诺奖桂冠，普通科研工作者将何去何从？》一文中我谈过自己对目前 AI 技术浪潮对大众影响的体会——未来已来，只是分布不均。很多人在还没有意识到 AI 带来的变革潜能时，觉得与自己无关，日子该怎么过怎么过，倒也轻松。而一旦突然意识到 AI 的重要性，就会变得焦虑万分。这种焦虑，就是挣扎与思考在外...
AI代币是什么？AI与Web3结合的未来方向在哪里？
BlockOne11的博客
10-30 1621
近两年随着人工智能的崛起，AI已经渗透到制造业、电商、广告、医药等各个行业，加密货币领域也不例外，人工智能与区块链的融合，让我们看到了独特的数字资产 — AI加密代币。它的流行始于2022年底，随着OpenAI智能聊天机器人ChatGPT的火爆，许多人意识到，人工智能不再只是出现在电影里面，更多的应用已经照进现实，AI已经作为一种高效的生产力应用到实际的产业中。人工智能狂热也影响了机构巨头。例如，谷歌宣布将着手开发自己的人工智能聊天机器人 Bard。
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值