[nlp] ELMo模型（下）

最新推荐文章于 2024-07-10 14:45:10 发布
最新推荐文章于 2024-07-10 14:45:10 发布
阅读量214 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/105084620
版权

继Transformer模型之后，我们再来介绍ELMo模型。

ELMo模型

看到前面的，看不到后面的
看到后面的，看不到前面的
在这里插入图片描述
Deep contextualized word representations (深层上下文的词语表征)
好的Embedding

  1. 捕捉语义和语法信息
  2. 能区分一词多义
    在这里插入图片描述
    引入前向 和 后向 语言模型 进行训练
    在这里插入图片描述
    词向量的表示基于当前的句子上下文
    高层LSTM：捕捉上下文的词特征（语义）
    底层LSTM：捕捉句法层次信息（语法）
    在这里插入图片描述
    在这里插入图片描述
    LSTM 对长距离提取特征不如 transformer

GPT

早于bert, 基于transormer。
单向的语言模型。
mask 遮盖，只能看见前面的。（单向）

无监督训练
有监督微调
在这里插入图片描述
在这里插入图片描述

心心喵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
一词多义的 ELMo 模型 6.2 【NLP 莫烦Python 自然语言处理教学】
08-30
一词多义的_ELMo_模型_#6.2_【NLP_莫烦Python_自然语言处理教学】
莫烦nlp——ELMO一词多义
ronghwa_lu
02-22 1206
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
自从Transformer模型诞生之后，新的深度学习模型有哪些？
最新发布
qlkaicx的博客
07-10 924
这些模型不仅在NLP任务中取得了卓越的成绩，还将Transformer架构的优势扩展到计算机视觉等其他领域。是Google于2019年提出的统一文本到文本框架，它将所有NLP任务转换为文本生成任务，利用Transformer进行处理。是Microsoft于2020年提出的一种增强版BERT模型，通过引入解码增强和解耦注意力机制，进一步提升了NLP任务的性能。是Google于2020年提出的，将Transformer应用于计算机视觉任务中，特别是图像分类。
ELMO,GPT &BERT
Zoe-xy
07-03 209
ELMO word2vec无法解决一词多义的问题，比如‘apple’这个词在不同的上下文中语义是不同的: Jobs was the CEO of apple. He ate the apple. 而ELMO能够对多义词进行建模，使用语言模型获得一个上下文相关的预训练表示。 方法： 使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。 预训练好这个语言模型之后，ELMo就是根据下面的公式来用作词表示，其实就是把这个双向语言模型的每一中间
ELMO论文学习笔记
nht1996的博客
06-26 1428
概述 为了解决一词多义的问题，同时表达单词使用的语法和语义以及在上下文语境中的变化。词向量是一个深层双向语言模型(biLM)的内部状态的学习函数，它是在一个大型文本语料库上预先训练的，这些表示可以很容易地添加到现有的模型中。 ELMO的思想是：先用语言模型学习单词的Word Embedding，此时没有区分多义词，但是在实际使用Word Embedding时，单词已经具备特定的上下文了，这时可以根...
哈工大ELMo ``zhs.model`` 模型下载
03-28
哈工大ELMo ``zhs.model`` 是一个专为中国语境设计的深度...总的来说，哈工大ELMo ``zhs.model`` 是中国自然语言处理领域的重要资源，它为中文文本的理解和处理提供了强大的工具，极大地推动了中文NLP任务的性能提升。
自然语言处理任务中语言模型发展总结
12-16
自然语言处理任务中，语言模型扮演着至关重要的角色，它旨在评估句子的合理性，并通过学习大量无标注的语料库来获取丰富的语义知识。语言模型最初应用于语音识别，如今在各种自然语言处理应用中均有广泛应用，如机器...
自然语言预训练模型大总结
08-23
自然语言预训练模型综述 ...预训练模型是自然语言处理领域中的一个重要概念，通过学习大规模未标注语料的表征，可以提高下游任务的性能。预训练模型有很多不同的类型和方法，可以按照不同的标准进行分类和比较。
自然语言处理-基于预训练模型的方法 笔记
12-30
自然语言处理（Natural Language Processing, NLP）是计算机科学领域的一个关键分支，专注于研究如何让计算机理解、生成和处理人类的自然语言。近年来，预训练模型在NLP领域取得了重大突破，极大地推动了自然语言...
NLP教程笔记：ELMo 一词多义
nanke_4869的博客
02-07 1440
NLP教程 TF_IDF 词向量 句向量 Seq2Seq 语言生成模型 CNN的语言模型 语言模型的注意力 Transformer 将注意力发挥到极致 目录NLP教程怎么了词向量有问题如何训练学习案例代码总结全部代码 怎么了 不管是图片识别还是自然语言处理，模型都朝着越来越臃肿，越来越大的方向发展。 每训练一个大的模型，都会消耗掉数小时甚至数天的时间。我们并不希望浪费太多的时间在训练上，所以拿到一个预训练模型就十分重要了。 基于预训练模型，我们能够用较少的模型，较快的速度得到一个适合于我们自己数据的新模型
流水账︱Elmo词向量中文训练过程杂记
素质云笔记
08-21 2万+
1 elmo是什么？ 参考：《文本嵌入的经典模型与最新进展》 人们已经提出了大量可能的词嵌入方法。最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。 虽然有些人通过结合语义或句法知识的有监督来增强这些无监督的方法，但纯粹的无监督方法在 2017-2018 中发展非常有趣，最著名的是 FastText（word2v...
2020李宏毅机器学习笔记——23. ELMO，BERT，GPT (三种解决一词多意问题的方法）
weixin_44790306的博客
08-22 1057
ELMO，BERT，GPT (三种解决一词多意问题的模型） 文章目录摘要1. 提出背景2. Embeddings from Language Model(ELMO)3. Bidirectional Encoder Representations from Transformers(BERT)3.1 Training of BERT 摘要 1. 提出背景 机器是如何理解我们的文字的呢？ 怎样让机器读懂人类文字？ 最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为
最简单的方式获取ELMo得到的词向量
IndexFziQ CSDN
10-18 7417
Introduction 本文的目的就是用最简单的方式获取 elmo 得到的word representation，看了一些其他人的介绍，其实最后对我有用的就这么多了，我只想要他生成的词向量。 简单介绍一下 elmo：Allen NLP在NAACL2018上的Best paper - Deep contextualized word representations，使用elmo让原有的模型在NLI...
ELMo原理介绍
linchuhai的博客
07-25 4661
1. 引言 在2018年之前，词向量表示的方法主要还是采用CBOW、skip-gram、GloVe等方法，这些方法都是采用一个固定维度的向量来表征每一个词汇或字符，虽然方法简单，但是会存在两个问题，一方面是没有考虑词汇在不同语境的信息，比如”apple"在一些场景下可以表示水果，在另一些场景下可能表示苹果公司，另一方面，采用一个固定的向量表示词汇，没有考虑到语法和语义的信息。因此，在2018年，M...
继 Swin Transformer 之后，MSRA 开源 Video Swin Transformer，在视频数据集上SOTA
我爱计算机视觉
08-19 1177
关注公众号，发现CV技术之美继上半年分享的『基于Transformer的通用视觉架构：Swin-Transformer带来多任务大范围性能提升』、『Swin Transformer为主干，...
ELMo——一种新型的词嵌入方法
cpluss的博客
08-06 1万+
目录   一、概要 二、双向语言模型 三、线性组合 一、概要 英语论文原文参考链接：https://pan.baidu.com/s/1g7lKZoefFmNy8GXgH5CDNg 密码：hq2n 英文论文名称：《Deep contextualized word representations》 ELMo为复杂词语应用（语法或语义）和语言语义建模（例如一词多义）。这句话我也不好翻译，...
词向量——ELMo
zhiman_zhong的博客
11-23 2265
ELMo（Embeddings from Language Models）词向量模型，2018年3月在Deep contextualized word representations（语境化的词向量）这篇论文中被提出，下面就几个方面来介绍ELMo模型。 1.产生场景（为什么产生） word2vec、glove等词向量模型有以下缺点： （1）没有捕捉到词性等语法信息，比如glove中 ...
后Transformer时代
u012526436的博客
10-16 407
前言 Transformer(下文用Tm代替)引领了预训练模型的潮流，创造了NLP中的无数SOTA。Tm从RNN的串行结构进化成了并行结构，但是因为其高复杂度的模型结构，时间复杂度达到了O(n2)O(n^2)O(n2)，那么Tm能否把时间复杂度降低的同时效果也能保留呢？目前大部分的预训练语言模型base版本，其支持的文本最大长度仅有512，如果想让其支持更长的序列，对于显存的要求也是极高的，对于过长的序列，Tm又该怎么处理呢？ 也因这两个问题的存在，这两年提出了很多优秀的Tm改版，本文会为读者介绍分享这些新
ELMo算法介绍
热门推荐
triplemeng的博客
09-17 5万+
这篇介绍一下ELMo算法(论文)。按道理应该加入前面的《关于句子embedding的一些工作简介》系列，但是因为一不小心让我写完结了 ：） 所以干脆另写一篇吧。不过从实验效果和重要性来讲，这篇论文也值得好好介绍一下。 Introduction 作者认为好的词表征模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep c...
"从n-gram到BERT：自然语言处理语言模型发展综述
ELMo模型的出现引领了自然语言处理领域的新研究方向。 目前，BERT成为了最受关注和广泛应用的预训练语言模型。BERT采用了Transformer网络结构，并通过在大规模数据上进行预训练，学习到了丰富的语义知识。BERT能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值