ELMO,BERT,GPT的原理和用法

最新推荐文章于 2024-06-29 17:45:46 发布
最新推荐文章于 2024-06-29 17:45:46 发布
阅读量1.4k 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21768483/article/details/109036239
版权

李宏毅-ELMO, BERT, GPT讲解: 李宏毅-ELMO, BERT, GPT讲解

在ELMO之前word2vec是静态的embdding，静态embedding的特点是同一个词，在不通语境下是同一个embedding。然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding

ELMO

ELMO的结构

在这里插入图片描述
简单来说就就是一个自回归的双向RNN，其中隐含层的输入被当做词的embedding

ELMO的使用

ELMO在使用时一般可以取出多个隐含层的输出加权做为该词的embedding
在这里插入图片描述
具体权重可以由下游任务去学习得到

BERT

bert实际上使用了Transformer的encoder作为编码器，使用大量文本进行预训练

BERT的训练

在训练时主要解两个任务：
在这里插入图片描述
在这里插入图片描述
bert是一种自编码模型

BERT的使用

简单的分成4中情况：

任务实例下游任务用法
句子分类句子情感分析下游任务直接使用cls标记的embedding
序列标注词性标注，NER下游任务使用每个词输出的embedding
两句话分析关系句子相似度下游任务直接使用cls标记的embedding
SQuAD阅读理解见下图

在这里插入图片描述
黄，蓝向量分别代指起始和结束位置。

GPT

GPT实际上使用了Transformer的decoder作为编码器，使用大量文本进行预训练

GPT的训练

自回归的language model

GPT的使用

不开源

Matrix-yang
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习笔记： ELMO BERT
qq_40206371的博客
07-19 382
ELanguageMo。
人工智能 自然语言处理 BERT、GPT、ELMO对比学习简记
Blog of pengxiaoxing
03-27 1016
ELMo根据上下文动态调整word embedding, 可以解决多义词的问题.GPT使用了Transformer提取特征, 使得模型能力大幅提升.第三种方式就是前后分别保留一部分token, 总数是510.BERT预训练模型所接收的最大sequence长度是512。GPT只使用了单向Decoder, 无法融合未来的信息.第一种方式就是只保留前面510个token.第二种方式就是只保留后面510个token.bert + 迁移学习 简单练习代码。
AI: GPT与BERT两大自然语言处理模型的比较
最新发布
十年运维开发经验的王义杰在此分享自己的知识和经验
06-29 687
GPT和BERT作为自然语言处理领域的两大重要模型，各自具有独特的优势和适用场景。GPT凭借其强大的生成能力，在内容创作和对话系统中表现出色；而BERT则通过其双向编码和丰富的预训练任务，在文本理解任务中取得了优异的成绩。未来，随着技术的不断发展，GPT和BERT将继续在各自领域中发挥重要作用，为自然语言处理的应用带来更多可能。
NLP中的预训练方法总结 word2vec、ELMO、GPT、BERT、XLNET
CycloneKid的博客
08-04 2846
文章目录一.文本的表示方法基于one-hot的词向量二.基于词向量的固定表征方法（词向量模型）2.1 N-gram模型2.2 NNLM2.3 word2vecCBoWSkip-gram层次Softmax负采样三.基于词向量的动态表征方法（预训练语言模型）3.1 什么是预训练语言模型3.2 预训练语言模型的优点3.3 预训练语言模型的分类自回归语言模型自编码语言模型排列语言模型3.4 几种重要的预训练模型介绍1. ELMO2. GPT3. BERTTask 1: MLMTask 2: NSPBERT的缺点4.
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert 视频课(1)
2401_84138835的博客
05-11 1028
一个字可以有多种意思，例如：“你好捞哦”和“我捞起鱼”。很明显两个“捞”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“捞”是同样的语意。于是就延伸出参考上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-27 2473
介绍几种主流的NLP模型，ELMO，BERT，GPT 然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
ELMO,GPT,BERT对比.docx
04-23
本篇文章对比了预训练语言模型ELMO、OpenAI GPT和BERT，旨在帮助读者更好地理解预训练语言模型的优缺点。 ELMO ELMO是一种预训练语言模型，它使用多层LSTM来解决多义词问题。ELMO的整体图中，第一步使用了多层LSTM...
李宏毅 BERT PPT
01-05
**李宏毅 BERT PPT 知识点详解** ...通过李宏毅的BERT PPT，初学者可以全面了解BERT的基本概念、工作原理和实际应用，为进一步深入学习和实践打下坚实基础。同时，对GPT的理解也有助于拓宽对现代NLP技术的认知。
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
11-19
有两种主要的训练方法：CBOW（Continuous Bag of Words）和Skip-gram。CBOW通过上下文词预测目标词，而Skip-gram则相反，预测目标词基于上下文词。这些模型揭示了词之间的语义关系，如“国王”-“王后”与“男人”-...
NLP-Projects:word2vec，句子2vec，机器阅读理解，对话系统，文本分类，预训练的语言模型（即XLNet，BERT，ELMo，GPT），序列标签，信息检索，信息提取（即实体，关系和事件提取），知识图，文本生成，网络嵌入
05-28
ELMo，ULMFit，GPT，BERT，XLNet的原理 HMM Viterbi实现。 参见，中文解读 Named_Entity_Recognition 通过双向LSTM + CRF，张量tensorflow实现对NER品牌。 参见中文注释，中文解读 7_Information_retrieval 8_...
BERT中文翻译PDF版1
08-03
与以往的预训练模型如ELMo和OpenAI GPT相比，BERT的创新之处在于克服了传统单向语言模型的局限性，允许模型在预训练阶段同时考虑上下文的前后信息。 在传统的预训练语言模型中，如OpenAI GPT，由于模型结构的限制...
使用LSTM训练分类模型（kreas+tensorflow）
annyfangfang的博客
09-25 3105
github链接：https://github.com/fangxiaozhu/Classification-model 需求描述：基于构建简单的多分类模型需求，使用的是keras深度学习库实现的，实现代码简单可用，模型优点是训练速度快，准确率达97%，适合粗粒度分类。 实现步骤：1、预处理数据：包括构建自定义词典、分词、去停用词等，处理成类似这样的训练数据格式 2、预训练word2vec模型：这里使用的是26万相关业务语料训练，保存成query.all.split.pkl模型，然后用pickle
BERT, GPT, ELMo模型对比
Decennie的博客
08-19 2157
BERT, GPT, ELMo之间的不同点 关于特征提取器: ELMo采用两部分双层双向LSTM进行特征提取, 然后再进行特征拼接来融合语义信息. GPT和BERT采用Transformer进行特征提取. BERT采用的是Transformer架构中的Encoder模块. GPT采用的是Transformer架构中的Decoder模块. 很多NLP任务表明Transformer的特征提取能力强于LSTM, 对于ELMo而言, 采用1层静态token embedding + 2层LSTM, 提取特征的能力
算法面试之ELMO BERT GPT
持续战斗状态的博客
09-08 327
GPT采用单向语言模型，elmo和bert采用双向语言模型。但是elmo实际上是两个单向语言模型（方向相反）的拼接，这种融合特征的能力比bert一体化融合特征方式弱。 GPT和bert都采用Transformer，Transformer是encoder-decoder结构，GPT的单向语言模型采用decoder部分，decoder的部分见到的都是不完整的句子；bert的双向语言模型则采用encoder部分，采用了完整句子。
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
puredreammer的博客
08-05 1062
一、ELMO ELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。 二、BERT BERT 的训练过程有两种方式，一种是MaskedLM，另外一种是预测下一句话的方法。 1. Maske...
ELMo、GPT、BERT
m0_60217276的博客
02-28 321
为何预训练语言模型能够达到如此好的效果？主要有如下几点： word2vec等词向量模型训练出来的都是静态的词向量，即同一个词，在任何的上下文当中，其向量表征是相同的，显然，这样的一种词向量是无法体现一个词在不同语境中的不同含义的。 我们采用预训练模型来代替词向量的关键在于，其能够更具上下文的不同，对上下文中的词提取符合其语境的词表征，该词表征向量为一个动态向量，即不同上下文输入预训练模型后，同一个词的词表征向量在两个上下文中的词表征是不同的。 预训练任务简介 总的来说，预训练模型包括两大类：自回归语言模
BERT,ELMO,ERNIE与GPT
算法岗从零到无穷
01-19 830
ELMO ELMO是Embeddings from Language Model的简称。它是一个双向的RNN网络，这样每一个单词都对应两个hidden state，进行拼接便可以得到单词的Embedding表示。当同一个单词上下文不一样，得到的embedding就不同。 当然，我们也可以搞更多层。这么多层的RNN，内部每一层输出都是单词的一个表示，那我们取哪一层的输出来代表单词的embeddin...
【NLP】ELMO\BERT\GPT入门
littlemichelle
12-03 391
A word can have multiple senses 图：in typical word embedding, each word type has an embedding bank是不同的token，但是是同样的type，就是bank。 token是NLP里分词的结果，是没有确定词义的一个词。 word2vector中，每一个word的type有一个embedding，所以不同的token，但它属于同一个type，则它所对应的embedding的一样的。 在过去的任务中，所.
有ELMo、GPT和BERT
07-28
这是一个IT类问题。ELMo、GPT和BERT都是自然语言处理中的重要模型。ELMo是一种基于深度双向语言模型的词向量表示方法，能够捕捉词义的多义性和上下文相关性。GPT（Generative Pre-trained Transformer）是一个基于Transformer架构的预训练语言模型，可以生成连贯的文本。BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，通过双向Transformer编码器能够更好地理解上下文信息。这三个模型在自然语言处理任务中都取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值