李宏毅2020ML——P63 ELMO、BERT、GPT

最新推荐文章于 2024-05-15 12:53:48 发布
最新推荐文章于 2024-05-15 12:53:48 发布
阅读量119 收藏
点赞数
分类专栏： 李宏毅2020ML 文章标签： 深度学习 机器学习 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115128899
版权

让机器看懂人类文字

introduce

之前的做法：
在这里插入图片描述
但是问题在于，同一个单词会有很多不同的意思，尽管在差不多的位置
在这里插入图片描述
更多的例子
在这里插入图片描述

ELMO

基于RNN预测下一个单词
在这里插入图片描述
同样可以deep
在这里插入图片描述
但是会有很多层，选择哪一层呢

全部都要
在这里插入图片描述

BERT

架构是transformers的encoder一样的
在这里插入图片描述
第一个训练的方法
在这里插入图片描述
第二个训练做法：
在这里插入图片描述
使用方法一：
在这里插入图片描述
使用方法二：
在这里插入图片描述
使用方法三：
在这里插入图片描述
使用方法四：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
ERNIE

在BERT上进一步
在这里插入图片描述
Multilingual BERT
在这里插入图片描述

GPT（Generative Pre-Training）

巨多参数的GPT
在这里插入图片描述
思想：
在这里插入图片描述
重复：
在这里插入图片描述
惊人的事情，没有预先训练过，也可以得到结果
在这里插入图片描述
一个例子：输入一段话，ML自己写完
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【李宏毅2020 ML/DL】P25 ELMO, BERT, GPT
记录学习痕迹的公众号：Piper蛋窝
07-29 632
介绍了NLP中的主流强力模型。
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
《李宏毅2020年机器学习作业2——分类数据集详解》 在这个数据集中，我们关注的是李宏毅教授在2020年开设的机器学习课程中的第二个作业，主题是“分类”。分类是机器学习领域的一个基础任务，其目标是根据输入特征...
李宏毅自然语言处理——ELMO/BERT/GPT简介
日积月累，天道酬勤
08-14 2656
本文介绍如何让机器理解人类语言，主要是介绍了ELMO、BERT和GPT。
2020李宏毅学习笔记——20.ELMO,BERT,GPT
weixin_44554337的博客
06-20 424
1.机器理解文字演化历史： 1-of-N encoding——word class——word embedding 1-of-N encoding：把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。 word class：分类，比如动物类，但是同类之间也有区别，比如哺乳动物和鸟类。 word embedding:我们用一个向量来表示一个单词，相近的词汇距离较近，如cat和dog。那word embedding怎么训练
2020李宏毅机器学习笔记——23. ELMO，BERT，GPT (三种解决一词多意问题的方法）
weixin_44790306的博客
08-22 1071
ELMO，BERT，GPT (三种解决一词多意问题的模型） 文章目录摘要1. 提出背景2. Embeddings from Language Model(ELMO)3. Bidirectional Encoder Representations from Transformers(BERT)3.1 Training of BERT 摘要 1. 提出背景 机器是如何理解我们的文字的呢？ 怎样让机器读懂人类文字？ 最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课
最新发布
2401_84139624的博客
05-15 301
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
李宏毅学习笔记14.ELMO、BERT、GPT
老毛的博客
04-13 694
文章目录前言Example Application 前言 这块内容也是2020版新加的Recurrent Neural Network (RNN) Example Application
2020李宏毅机器学习笔记-ELMO, BERT, GPT
zn961018的博客
07-11 633
摘要 1. Background 机器是如何理解我们的文字的呢？最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。 所以，接下来有了word class的概念，举例说dog、cat和bird都是动物，它们应该是同类。但是动物之间也是有区别的，如dog和cat是哺乳类动物，和鸟类还是有些区别的。 后来有了更进阶的想法，称作word embedding，我们用一个向量来
BERT学习笔记(4)——小白版ELMo and BERT
LiQZ的博客
09-01 562
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的BERT课程，链接放在的最后。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。 由于是小白版本的内容，所以不会涉及到任何公式，仅用于理解该模型的作用。 目录1 ELMo2 BERT2.1 Why Encoder?2.2 BERT如何做pre-train2.2.1 Masked LM2.2.2 Next Sentence Prediction2.3 BERT的下游任务2.3.1 文本分类任务2.3.2.
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-27 2483
介绍几种主流的NLP模型，ELMO，BERT，GPT 然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
李宏毅 BERT PPT
01-05
**李宏毅 BERT PPT 知识点详解** BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的预训练语言模型，它彻底改变了自然语言处理（NLP）领域的格局。BERT的核心理念是利用...
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
在这个“李宏毅2020 ML Homework 1: Linear Regression-数据集”中，我们关注的是一个回归问题，特别是针对PM2.5（细颗粒物）浓度的预测。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著...
视频学习笔记——李宏毅机器学习——P1，2
09-12
【机器学习介绍】 机器学习是计算机科学的一个分支，它的核心目标是使计算机系统具备自我学习的能力，从而在没有明确编程的情况下改善其性能。这源于人类的学习潜能，只不过在这里，我们试图通过算法和统计模型来...
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载...
李宏毅2020ML——P24-31可解释性ML
weixin_44177594的博客
03-17 360
Explainable machine learningintroduceLocal Explainable基本的思想：global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数 introduce 在分类问题中，我们输入一张猫的图片，machine会告诉我们这是”猫“，但是为什么？ 问题1：为什么machine会认为这个是猫呢？ 问题2：machine眼中的猫是什么样子的呢？ 或者是m
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 300
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
李宏毅2020ML——P8-P9 Optimization for Learning（最优化方法）
weixin_44177594的博客
03-10 278
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结 SGD 缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 SGD容易收敛到局部最优，并且在某些情况
李宏毅2020ML——tips for training DNN深度学习技巧
weixin_44177594的博客
03-15 246
tips for training DNN本节综述：Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值