【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

最新推荐文章于 2024-07-25 23:48:49 发布
最新推荐文章于 2024-07-25 23:48:49 发布
阅读量752 收藏 1
点赞数
分类专栏： 深度学习_李宏毅 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/122115624
版权

文章目录

3_BERT的奇闻轶事

Why does BERT work？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

To Learn More

在这里插入图片描述

Multi-lingual BERT（多语言BERT）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

BERT有跨语言的功能？前提是资料量要够多才能train起来…，过了两天loss掉下去了

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

BERT还有很多不被理解的，说明可以探究的空间很大

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4_GPT的野望

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难

How to use GPT？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

你也可以做语音版的GPT

在这里插入图片描述

语音版的 基准集，10个不同的任务

在这里插入图片描述
在这里插入图片描述

Self-supervise Learning在语音上，在图像上还有非常大的空间可以应用，加油！

深度学习入门咨询
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自监督学习(Self-Supervised Learning)
程序员光剑
07-12 466
自监督学习(Self-Supervised Learning) Self-Supervised Learning. 自监督学习(Self-Supervised Learning)是一种无监督表示学习方法，
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2280
李宏毅机器学习--self-supervised--BERT和GPT
Self-supervised Learning
zzz_qing的博客
04-23 142
Self-Supervised Learning，又称为自监督学习。一般机器学习分为有监督学习，无监督学习和强化学习。而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。其主要的方式就是通过自己监督自己。
自监督学习概述(Self-Supervised Learning，SSL)
最新发布
m0_59257547的博客
07-25 1009
自监督学习（Self-Supervised Learning，SSL）是一种机器学习方法，旨在利用未标记数据进行训练。这种方法通过从数据本身生成伪标签，来创建监督信号，使得模型能够学习有效的数据表示。自监督学习在深度学习领域尤其受到关注，因为标记数据往往昂贵且难以获得，而未标记数据则大量存在。
2023/8/20周报 自监督学习
user_s1的博客
08-20 188
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
自监督学习（Self-Supervised Learning）
A17756070461的博客
05-20 6719
自监督学习（Self-Supervised Learning） 在神经网络的训练中，良好的性能通常需要大量有标签的数据，但是收集带有手工标签的数据是非常昂贵的(例如ImageNet)，并且很难扩大规模。考虑到未标记数据(如免费文本，互联网上的所有图像)的数量远远超过人类管理的标记数据集的数量，不使用它们是一种浪费。然而，无监督学习并不容易，而且效率通常比监督学习低得多。如果我们可以为无标记的数据免费获得标签，并以监督的方式训练无监督的数据集，那会怎么样呢？我们可以通过构建一个特殊形式的监督学习任务来实现这一
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 8259
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2106
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
李宏毅机器学习15—Semi-supervised learning
weixin_57178683的博客
05-02 1211
Semi-supervised learning（半监督学习） 摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。 目录 一、什么是Semi-supervised learning 为什么要做Semi-supervised learning 二、Semi-supervised learning for generative model 首先看supervised learning for generative model 实际上Semi-supervised learning for
12、【李宏毅机器学习（2017）】Semi-supervised Learning（半监督学习）
Jimmyzqb的博客
08-29 5354
在前面的博客中主要介绍的算法全部都是监督学习的算法，接下来的博客将开始介绍半监督学习算法。 目录 半监督学习介绍 半监督学习与监督学习 监督学习中的样本中的是已知的，所以监督学习算法可以在训练集数据中充分使用数据的信息 半监督学习的样本中只有R个样本的是已知，U个样本的未知，且通常U远大于R – Transductive learning ：将未知标签的数据作为测试集数据（...
李宏毅机器学习作业
01-18
李宏毅机器学习作业，文档文件，笔记全面，总结充分，仅供学习
自监督学习（self-supervised learning）（20201124）
热门推荐
WallE
11-24 1万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
机器学习的分类——自监督学习（Self-supervised Learning）
guojunwu1977的博客
03-29 805
自监督学习（Self-supervised Learning）是机器学习的一种形式，它在监督学习和无监督学习之间架起了一座桥梁。自监督学习不依赖于传统意义上的标记数据，而是从输入数据本身生成监督信号来训练模型。这种方法允许模型在没有显式标签的情况下学习数据的有用表示，从而利用大量未标记的数据来提高学习效率和性能。
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1678
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
【深度学习】自监督学习详解（self-supervised learning）
Danger的博客
01-30 1万+
详解！自监督学习：对比学习和生成学习。
【2019-CVPR-3D人体姿态估计】Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
大家一起进步叭
04-20 2970
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 题目：《基于多视图几何学对三维人体姿态的自监督学习》 作者： 来源：CVPR 2019 研究内容: 训练过程：多视图-单人-自监督 推理过程：单视图 现有问题与技术： 1.现有问题 精确的3D HPE需要大量精确的3D GT数据）（对尺寸、多样性受限）、2D GT数据、标签和相机参数，但是获得这些相机参数 ...
Self-supervised Learning整理
CCjoffrey的博客
09-08 1302
Self-supervised Learning Pre-train Fine-tune Pre-train Fine-tune算是一种Transfer Learning。 首先，假设按照SimCLR中的设定，将一般的模型分为两部分，分别为Encoder和Projection Head。Encoder结构类似于AutoEncoder中的Encoder部分，输出是一个低维的张量，可以称为输入数据的表征。Projection Head可以认为是一个全连接层，将Encoder输出的张量映射为更低维的张量（或者称为
李宏毅2021机器学习课程：self-attention技术解析
"李宏毅老师的2021年机器学习课程讲义——self-attention" 在深度学习领域，self-attention机制是近年来受到广泛关注的一种技术，尤其在自然语言处理（NLP）和序列建模任务中表现突出。该机制首次在Transformer模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值