自监督学习（self-supervised learning）

最新推荐文章于 2024-07-25 22:24:14 发布
最新推荐文章于 2024-07-25 22:24:14 发布
阅读量1k 收藏 2
点赞数
分类专栏： 机器学习—李宏毅 文章标签： 学习 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39848541/article/details/127131630
版权

self-supervised learning

在这里插入图片描述
The models become larger and larger:
ELMO(94M)——>BERT(340M)——>GPT-2(1542M)——>Megatron(8B)——>T5(11B)——>Turing NLG(17B)——>GPT-3(175B)——>Switch Transformer(1.6T)

self-supervised learning

对于没有标注的data，想办法分成两部分，一部分作为输入，一部分作为模型标注——self-supervised learning（是一种unsupervised learning）
在这里插入图片描述

BERT

BERT基本架构

BERT network架构与Transformer Encoder一样
在这里插入图片描述

输入一段文字，对输入文字序列随机盖住（masking）

  • 随机换成某种特殊token（mask）
  • 随机替换成某一个字(random)
  • 两种方法也是随机采用的

mask之后经过BERT得到的也是一串sequence vector，对该向量组进行线性变换（linear transfer），然后经过一个softmax,输出一个分布

如何进行训练？
训练目标是mask的token与原token越接近越好，好比如在词集中对mask token进行预测，最小化预测与真实值的交叉熵

另外一种方法/任务——Next Sentence Prediction

两个句子，经过BERT的输出，再接一个线性层，进行二元分类，去预测这两个句子是否是相接的。
但是这种方法并没有什么作用
在这里插入图片描述

在这里插入图片描述

General Language Understanding Evaluation（GLUE）

任务集：对模型进行微调并应用在多任务上，以评估模型能力

在这里插入图片描述
BERT的应用效果
在这里插入图片描述

以人类在各任务上的表现能力为基准（1.0）

how to use BERT

case1

input：seq；output：class——eg:情感分析
在这里插入图片描述

BERT参数通过pre-train初始化（unsupervised），并需要少量下游任务的标注资料——semi-supervised
scratch——全部随机初始化
fine-tune——pretrain(loss下降较快且loss较小)
在这里插入图片描述

case2

input：seq
output :相同长度的seq
eg:POS tagging
在这里插入图片描述

输入一个句子得到相同长度向量组，经过一个线性层再去softmax进行分类（多分类）

case3

input：2 seq
output：1 class
eg:推断关系（立场分析）

error在这里插入图片描述
在这里插入图片描述

case 4

问答系统（答案一定出现在文章中Extraction-based）
在这里插入图片描述在这里插入图片描述

输入问题和文章（以sep分隔）
有两个需要随机初始化的向量（其维度与BERT输出vector维度相同）
其中一个向量与文章部分输出向量做内积，再经过softmax得到概率值，概率值最高的vector作为起始的S
同理使用另一个向量找到答案结束位置E
PS：输入有一定的限制，太长的输出运算复杂，一般将文章切割再投入

training BERT is challenging

在这里插入图片描述

pre-training a seq2seq model

在这里插入图片描述> mass输入句子，通过encoder-decoder还原
在这里插入图片描述在C4上训练T5以尝试mass的各种组合
详情可见论文

why does BERT work?

将训练于文字上的BERT应用在蛋白质，DNA，音乐分类上
以DNA分类为例
在这里插入图片描述将DNA对应到一些文字上再丢到pre-train的BERT里进行转化和分类

在这里插入图片描述效果还不错
在这里插入图片描述

Multi-lingual BERT

在这里插入图片描述用多种语言预训练BERT

在这里插入图片描述
在足够资料量时，不同语言的alignment效果更好在这里插入图片描述语言信息藏在Multi-lingual BERT模型内
在这里插入图片描述

GPT

如果说BERT是mask训练数据做填空题，那么GPT就是使用训练数据去预测下一个出现的token

在这里插入图片描述

给定经过模型得到一个vector h1 经过线性变化和softmax分类得到一个distribution，并希望得到的distribution与正确答案的cross entropy越小越好
以此类推

由于有预测能力，可用于文本生成
GPT demo:在这里插入图片描述

how to use GPT

在这里插入图片描述

self-supervised learning Beyoud Text

在这里插入图片描述Image-SimCLR
在这里插入图片描述

Image-BYOL
在这里插入图片描述

静妮子i
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2070
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
为了解决这个问题，自监督学习（SSL）在图数据上的应用逐渐成为研究焦点。 自监督学习是一种无须人工标签的学习策略，它通过设计巧妙的预训练任务，即借口任务，来从原始数据中挖掘信息。在图自监督学习中，这些...
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 1736
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
自监督学习（Self-supervised Learning）
热门推荐
乐乐lelele的博客
12-08 4万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
2022最新版-李宏毅机器学习深度学习课程-P46 自监督学习Self-supervised Learning（BERT）
weixin_45626133的博客
11-08 1440
事实上，在训练中，会将文章截成片段输入BERT进行训练，而不是使用整篇文章，避免距离过长的问题。这样，BERT就可以知道，这两个句子是不同的句子。但是，BERT可以被应用在其他的任务【真正想要应用的任务】上，可能与“填空”并无关系甚至完全不同。BERT是一个transformer的Encoder，BERT可以输入一行向量，然后输出另一行向量，输出的长度与输入的长度相同。为了测试Self-supervised学习的能力，通常，你会在一个任务集上测试它的准确性，取其平均值得到总分。挑选的两个句子是相连的。
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 8073
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督学习（Self-Supervised Learning）
u013250861的博客
01-29 524
参考资料： 大概是全网最详细的何恺明团队顶作 MoCo 系列解读！（上） 大概是全网最详细的何恺明团队顶作MoCo系列解读…(完结篇)
语音识别(ASR)论文优选：自监督学习Self-Supervised Learning for speech recognition with Intermediate layer supervisi
低调奋进
12-20 1883
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请
自监督学习 Self-Supervised Learning
weixin_40875443的博客
04-16 436
概念 1. 入门，这一篇讲的很详细 2.1 简单明了，通俗易懂 2.2. 自监督学习性能概述，对当前自监督学习的效果有一个大概的认识 2.3. 自监督学习的经典文章 Unsupervised Visual Representation Learning by Context Prediction ...
语音-自监督学习《self-supervised learning》
qq_37258753的博客
10-12 744
self-supervisiedlearning：自监督学习
自监督学习（self-supervised learning）（20201124）
WallE
11-24 1万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
Contrastive Self-supervised Learning for Graph Classification
12-20
在图分类问题中， Contrastive Self-supervised Learning（对比自监督学习）是一种有效的方法，它可以解决图分类模型中的过拟合问题。该方法通过在大量无标签图上预训练图编码器，然后在少量有标签图上微调图编码器...
最新的对比自监督学习（Contrastive Self-supervised Learning）综述论文
09-22
对比自监督学习(Contrastive Self-supervised Learning)是一种新兴的学习方法，它在无需大量人工标注数据的情况下，通过自我定义的伪标签(self-defined pseudo labels)引导模型学习有效的表示(representation)。...
AvaloniaUI的学习
最新发布
lishuangquan1987的博客
07-25 613
官方中文文档：https://docs.avaloniaui.net/zh-Hans/docs/welcome。
编程学习之路：从零到一的成长指南
KsuferNotes
07-22 464
在当今数字化时代，编程技能已经成为许多人职业发展的重要组成部分。不论你是已经在IT业从业多年的老手，还是刚刚起步的编程新手，这篇博客将带你走过编程学习的每一个重要阶段，从而顺利完成从零到一的华丽转变。
FastAPI（七十一）实战开发《在线课程学习系统》接口开发-- 查看留言
mr~li的博客
07-24 265
梳理后发现，之前在接口设计的时候，有些欠缺，查看留言，是查看单个的留言，查看留言后，对应的留言变成已读状态。那么我们这个都需要传递一个参数，这个参数应该是留言的id。之前FastAPI（七十）实战开发《在线课程学习系统》接口开发--留言功能开发分享了留言开发，这次我们分享查看留言。在之前设计返回状态码的时候，发现状态码有缺失，我们增加下缺失的。3.判断是否是当前用户的留言，或者接受的方是自己。梳理这里的逻辑，这个接口要依赖登录。5.如果已读且回复了，要带回复的内容。以上则是实现查看留言的接口逻辑。
学习华为IPD流程黑话2.0
产品线负责人
07-23 536
管道管理是指根据资源需求（管道需求）尽早地对可获得性资源（管道供给）进行平衡，任何企业做研发、做产品，它的可用资源都是有限的，可以把企业的资源比喻成管道。既是对产品包进行验证，也是内部技能传递的重要环节，同时能为客户带来价值。这个时候就只需要对切片的概念做一下了解就应该可以直接应用了。而且主要做的是 C 语言，Python 也确实没具体用过。并保证在任意时刻产出的研发价值（即出口流量）的最大化，好了，这个话题就不展开来讲了，后续可以单独展开聊聊。评审的对象是新产品的业务计划，而不是产品的开发计划。
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。 自我监督学习的基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值