李宏毅 ML2021 学习笔记 - W7 Self-supervised Learning

最新推荐文章于 2022-10-27 02:48:18 发布
最新推荐文章于 2022-10-27 02:48:18 发布
阅读量189 收藏 1
点赞数
分类专栏： 李宏毅ML2021
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/irontiger65/article/details/118760401
版权
本文探讨了BERT模型的使用限制、训练挑战及其工作原理，通过NLI（自然语言推理）案例展示其应用。同时，提到了BERT在计算不同上下文单词相似性方面的优势，以及多BERT的潜在可能性。此外，还简要概述了GPT的预测下一个词任务和其他自监督学习内容。
摘要由CSDN通过智能技术生成

1. BERT

1. How to use BERT

都需要一些labled data

Case 3: NLI (Natural Language Inference)

 

 

 实做上，bert不能吃无限长度的输入，大概最长512左右。

2. Training BERT is challenging

 

 3. Why does BERT work？

 

前5个果是水果的果，后5个是苹果电脑的果，计算它们embedding的cosine similarity

 

 

 用随机的英文单词代替DNA编码

 → BERT 为什么会好？还有很多研究的空间 

 

 4. Multi-BERT

 

 2. GPT

Predit Next Token

 3. 其他self-supervised learning内容

 

芦边湖泊
关注
专栏目录
【学习笔记】李宏毅2021春机器学习课程第7.3节：自监督学习（三）
Harryline的博客
08-03 703
文章目录1 会写假新闻的GPT模型2 怎么使用GPT模型?2.1 “Few-shot” Learning2.2 “One-shot” Learning2.3 “Zero-shot” Learning3 GPT模型在语音和影像上的应用3.1 Image —— SimCLR3.2 Image - BYOL3.3 Speech Application 1 会写假新闻的GPT模型 除了BERT以外，还有一个很有名的模型，那就是GPT系列的模型。 BERT做的是填空题，GPT要做的任务是预测接下来会出现的token
【李宏毅2020 ML/DL】P66 Self-supervised Learning
记录学习痕迹的公众号：Piper蛋窝
08-05 1153
2020年的展示，介绍了些关于自编码的前沿技术。
2022李宏毅机器学习深度学习学习笔记第四周--Self-Supervised Learning
qq_45612705的博客
05-15 1149
文章目录前言Self-Supervised Learning什么是Self-Supervised Learning 前言 提示：可以在这里引入话题，记得删除示例哦。 例如：我们在进行项目开发的时候可能会遇到一些获取屏幕宽度，dp px的相互转换等问题，我们当然不能每用一次就复制粘贴一次。这时候就需要一个利器-工具类。 这个工具类包含了我们一些公用的方法，只需要一句话我们就可以拿到想要的结果，既精简了我们的代码又省下了我们宝贵的时间。同时，一个好的软件工程师，万能的工具类便是他的护身法宝。（本段引用自：And
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2283
李宏毅机器学习--self-supervised--BERT和GPT
李宏毅老师-自监督学习（Self-supervised Learning）Part1
weixin_46675905的博客
05-08 301
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ self-supervised与芝麻街人物有着密切联系 李宏毅老师讲这堂课的时候还穿着芝麻街的T恤（respect） 你可能以为Bert足够大了 但是 see next 接下来，我们将学习BERT和GPT series 从而知道self-supervised model做的事情是什么 ...
2020李宏毅学习笔记—— 10. Semi-supervised Learning（半监督学习）
weixin_44790306的博客
06-26 1307
文章目录摘要1. IntroductionWhy Semi-supervised Learning？why Semi-supervised Learning helps ？2. Semi-supervised Learning for Generative Model 摘要 1. Introduction 分类（classification）这种机器学习算法就是一种监督学习。对于分类，输入的训练数据有特征（feature），有标签（label）。也就是我们之前的输入x和输出y。每一个x样本都对应着一个y（
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 430
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 530
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
李宏毅机器学习笔记-----Self-Attention
m0_56250941的博客
07-29 314
Self-Attention
ML2021-Spring:李宏毅（Hung-Yi Lee）机器学习Machine Learning 2021 Spring
03-06
国立台湾大学机器学习Machine Learning 2021 Spring （每周更新！每周更新！） 该存储库包含李宏毅（Hung-Yi Lee）指导的15项机器学习家庭作业的代码和幻灯片。 有关该课程的所有信息都可以在上找到。 讲座视频 ...
论文阅读：Self-supervised Learning of LiDAR Odometry for Robotic Applications 2021 ICRA
吃不胖的粥
05-17 310
论文：https://arxiv.org/pdf/2011.05418.pdf 源码: https://github.com/leggedrobotics/DeLORA
NTU 课程笔记：self-supervised learning
qq_40206371的博客
11-12 242
1 为什么需要 self-supervision？ 为每个新的任务都创建一个新的数据集，开销是很大的 有些领域标注是很稀缺的（比如医疗领域） 有些领域 数据集太大，来不及标注 self-supervision 很像婴儿学习的方式 2 什么是self-supervison A form of unsupervised learning where the data provides the supervision（用数据本身创造label） In general, withhold some pa
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2110
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
【论文笔记】CIKM2020 S3-Rec: Self-Supervised Learning for Sequential Recommendation with MIM
恒治学
05-18 1730
PROBLEM 现有序列推荐模型通常依赖商品预测损失来学习模型参数或数据表示，然而使用此损失进行训练的模型往往被证明遭受数据稀疏性问题. 因为其过于强调最终表现，没能充分捕捉和利用序列推荐的上下文数据以及序列数据间的关联与融合. SOLUTION 提出S3-Rec模型，代表基于自注意力神经架构的用于序列推荐的自监督学习. 利用数据固有关联分离自监督信号，通过预训练方法增强数据表示. 分配四个辅助自监督目标，利用共同信息最大化 (MIM) 以分别学习商品-属性、序列-商品、序列-属性和序列-子序列的关联，MI
5110-微信小程序健身房私教预约微信小程序+ssm（源码+数据库+lun文）.zip
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
Fast_integration_dependencies_in_spring_boot.是一个快速_fastdep.zip
最新发布
09-15
Fast_integration_dependencies_in_spring_boot.是一个快速_fastdep
05-Python数据类型-列表的相关运算
09-15
05_Python数据类型_列表的相关运算 文章对应的 jupyter notebook 源文件，可以用来做练习。欢迎下载使用。 目录如下： Python的基础数据类型 列表运算符 赋值和深浅拷贝 赋值 浅拷贝 深拷贝 附件
python字典介绍​.docx
09-15
python字典介绍​
5062-微信小程序传染病防控宣传系统的设计与实现+springboot（源码+数据库+lun文）.zip
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值