ELMO论文笔记Deep contextualized word representations

最新推荐文章于 2025-03-06 15:10:30 发布
最新推荐文章于 2025-03-06 15:10:30 发布
阅读量1.5k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 深度学习 lstm 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39860046/article/details/122028865
版权

1. 为什么引入

elmo是在传统词向量中加入了对上下文信息的关注，使得同一个词在不同上下文中有不同含义，得到不同的表达。

2. 整体架构

elmo主要使用了一个字符卷积层(get raw word vectors) 加上 两层双向的LSTM语言模型，来充分获得一个词的所有上下文信息，这正是与word2vec等传统词嵌入不同之处。
（各个层之间添加了residual connection传递；elmo中可以添加适量的dropout和l2正则）
在这里插入图片描述
在这里插入图片描述

3. 为什么是两层LSTM

第一层LSTM更容易获得一些浅层的句法信息，如词性标注等
第二层LSTM则更容易获得一些更深层的语言信息，如上下文、词义等
elmo则是这两（多）层任务的权重组合，公式如下：
在这里插入图片描述
其中s-task是各个层的softmax权值，标量参数γ-task允许任务模型缩放整个ELMo向量（根据下游

最低0.47元/天 解锁文章
ELMo模型解读
lppfwl的博客
11-10 2077
最近学习了2018年的模型ELMo：Deep contextualized word representations，这里作一下笔记和我个人的理解 原论文链接：https://paperswithcode.com/method/elmo 在介绍ELMo之前顺便回顾一下RNN和LSTM，刚好也做个总结笔记 RNN和LSTM RNN RNN就是循环神经网络，下面一张图就很清晰了。 当前时刻的输出状态ht依赖于上一时刻的输出状态ht-1和当前时刻的输入xt，具体的公式如下： ht=tanh(W[ht-1,xt]+
论文笔记--Deep contextualized word representations
weixin_38124427的博客
05-31 876
ELMo：双向语言模型助力NLP监督任务
ELMo论文解读
LiJiale_的博客
03-02 1206
论文链接：https://arxiv.org/abs/1802.05365 此论文提出了一种新的表示词语的方法，用于解决如下问题： （1） 词的复杂特征 （2） 在不同语境下词的多义性 该论文提出的模型，使用biLM（双向语言模型）在大型语料上的预训练，通过内部状态得到词向量，这种表示可以很容易的用在已经存在的模型并明显提高解决NLP任务的能力，包括问答、情感分析等等。 1.介绍 得到高质量的词表...
ELMo（Embeddings from Language Models）模型
最新发布
彬彬侠的博客
03-06 1081
ELMo是Allen Institute for AI（AI2）在2018年提出的一种上下文感知的词嵌入模型，能够动态生成词向量，并广泛应用于文本分类、命名实体识别（NER）、机器翻译、问答系统等任务。采用双向LSTM进行训练，可学习深层语义信息，特别适用于多义词处理。。相比BERT，ELMo计算量较小，但效果略逊，仍适用于某些NLP任务。可通过allennlp库直接加载预训练模型，并用于NLP任务。
ELMo论文笔记+源码分析
小白的专栏
11-29 4587
ELMo论文笔记+源码分析1. 论文精读1.1 阶段1：预训练过程1.2 阶段2：应用到下游NLP task1.3 ELMo优势2. 源码分析2.1 使用elmo能得到什么2.2 elmo内部执行流程3. ELMo应用到文本分类4. 参考 1. 论文精读 1.1 阶段1：预训练过程 ELMo的预训练过程就是常见的语言模型（Language Model，简称LM）的训练过程：从句子中学习预测next word，从而学习到对语言的理解的任务。语言模型的学习通常得益于海量的无需标注的文本数据。 ELMo是双向语言
[ELMo]论文实现：Deep contextualized word representations
bigcrab的博客
11-21 312
传统的词向量表示其位置是固定了，不会因为上下文语句不同而产生变化，但是在日常生活中，一词多义是非常常见的，例如“apple”这个词，既可以表示苹果，也可以表示公司；这篇论文解决了单词的一词多义问题，即词的位置可以通过上下文的不同而发生改变； ELMo具有深层次的网络结构，其使用了多层的LSTM，这比仅仅使用单层LSTM层显著提高了性能；同时由于LSTM是循环神经网络，其可以捕捉单词意义的上下文；大量的实验表明，ELMo表示在实践中工作得非常好。，它可以很容易地添加到现有的模型
NLP系列文章（四）——ELMO
qq_34519492的博客
08-11 995
接文章《NLP系列文章（一）——按照学习思路整理发展史》《NLP系列文章（二）——NLP领域任务分类、NNLM语言模型》《NLP系列文章（三）——word embedding》继续讲述NLP预训练的那些事 ELMO是“Embedding from Language Models”的简称，论文《Deep contextualized word representation》。 在此之前的Word Embedding本质上是个静态的方式，也就是训练好后单词的表达固定不变，在新任务使用的时候，不论新句子上.
Deep contextualized word representations
09-18
我们引入了一种新型的深层语境化词语表示，它模拟了（1）词汇使用的复杂特征（例如，语法和语义），以及（2）这些用法如何在语言语境中变化（即模型多义词） ）。我们的单词向量是深度双向语言模型（biLM）内部状态...
Deep contextualized word representations翻译
04-19
### Deep Contextualized Word Representations (ELMo)：关键技术点详解 #### 摘要： 本文档介绍了一种新型深层语境化的词表示方法——ELMo（Embeddings from Language Models）。这种方法利用深层双向语言模型...
ELMo解读（论文 + PyTorch源码）
kyle1314608的博客
06-26 1641
ELMo的概念也是很早就出了，应该是18年初的事情了。但我仍然是后知后觉，居然还是等BERT出来很久之后，才知道有这么个东西。这两天才仔细看了下论文和源码，在这里做一些记录，如果有不详实的地方，欢迎指出~ 文章目录前言一. ELMo原理1. ELMo整体模型结构2. 字符编码层3. biLMs原理4. 生成ELMo词向量5. 结合下游NLP任务二. PyTorch实现1. 字符编码层2...
NLP经典论文：ELMo 笔记
sinat_39448069的博客
12-10 1854
NLP经典论文：ELMO 笔记《Deep contextualized word representations》模型结构文章部分翻译相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 《Deep contextualized word representations》 模型结构 文章部分翻译 相关视频 有的需要科学上网才能看 李宏毅-ELMO, BERT, GPT讲解 相关的笔记 相关代码 pytorch tensorflow ker
论文阅读与实践--ELMO模型
haoshan4783的博客
01-18 758
Deep contextualized word representations elmo模型就是以双向语言模型为基础，用各层之间的线性组合来表示词向量，elmo能够处理不同句子中的同义词的区分。另外就是它建立语言模型的时候，可以运用非任务的超大无标注语料库去学习，一旦学习好了，可以平行的运用到相似问题中。不同的语义会有不同的词向量。 试过哈工大复现的中文繁体elmo模型来做同义词区分，效果一般，...
【论文详解】词向量ELMo: Embeddings from Language Models
zenRRan的博客
08-04 993
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要15分钟跟随小博主，每天进步一丢丢作者：赵来福来自：机器学习算法与自然语言处理链接：https://zhuanlan.zhihu.c...
ELMo:深度上下文化的单词表示——论文阅读
wenjiechen的博客
07-20 1141
简介 2018年3月份，ELMo出世，该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了一个较好的解决方案。不同于以往的一个词对应一个向量，是固定的。在ELMo世界里，预训练好的模型不再只是向量对应关系，而是一个训练好的模型。使用时，将一句话或一段话输入模型，模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词，可以结合前后语境对多义词
Paper：《ELMO：Deep contextualized word representations》翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-19 1万+
​ Paper：《ELMO：Deep contextualized word representations》翻译与解读 目录 《ELMO：Deep contextualized word representations》翻译与解读 Abstract 1 Introduction 2 Related work 3 ELMo: Embeddings from Language Models 3.1 Bidirectional language models 3.2 ELMo 3.3 Usin
Pretrained-Model-03-ELMO 论文阅读笔记
weixin_44285710的博客
12-09 308
论文题目：Deep contextualized word representations 发表会议：2018-NAACL
ELMo论文阅读
UIBE_day_day_up的博客
01-14 300
本文详细阅读了ELMO论文，并对该模型的特点、模型架构和思路进行了分析，包括其BiLSTM结构特点、模型优势、模型意义以及其背后的重要思想等。
word2vec elmo
01-25
### Word2Vec 和 ELMo 的比较 #### 词向量特性 Word2Vec生成固定长度的静态词向量，这意味着无论词语出现在什么位置或环境中，其表示都是相同的[^1]。相比之下，ELMo提供动态、基于上下文的词向量，在不同的句子结构中同一个词可以获得不同的表示形式，从而更有效地处理一词多义现象[^3]。 #### 训练机制差异 对于Word2Vec而言，存在两种主要模式用于学习词汇表征：连续袋模型(CBOW)以及跳字(Skip-gram)[^2]。前者尝试根据周围单词预测目标单词；后者则相反，给定单个单词试图推测周围的邻居们。而ELMo采用双向LSTM架构捕捉序列中的前后依赖关系，并以此为基础构建更加丰富的特征空间。 #### 应用场景适配度 由于Word2Vec产生的嵌入不具备情境敏感性，因此更适合那些不涉及复杂语境理解的任务，比如简单的相似度计算或是主题建模等基础工作。然而当面对诸如机器翻译、情感分析之类的高级应用时，则可能因为缺乏足够的灵活性而导致性能受限。另一方面，得益于对上下文化的深刻洞察力，ELMo能够在更多样化的自然语言处理挑战面前展现出优势，特别是在需要精准把握细微差别的情况下表现尤为突出。 ```python import gensim.downloader as api from allennlp.commands.elmo import ElmoEmbedder # 加载预训练好的Word2Vec模型 wv = api.load('word2vec-google-news-300') # 初始化ELMo嵌入器 elmo = ElmoEmbedder() def compare_embeddings(word, context_sentence=None): """对比展示两个不同方式下的词嵌入""" # 获取Word2Vec的结果 try: wv_result = wv[word].tolist() except KeyError: print(f"{word} not found in Word2Vec vocabulary.") return # 如果提供了具体语句，则获取该环境下对应的ELMo表示 if context_sentence is None: elmo_result = "No sentence provided for contextualized embedding." else: tokens = [token.lower() for token in context_sentence.split()] embeddings = elmo.embed_batch([tokens]) index_of_word = next((i for i, t in enumerate(tokens) if t == word), -1) if index_of_word != -1: layer_embedding = embeddings[:,index_of_word,:] avg_layer_embd = (layer_embedding.sum(axis=0)/len(layer_embedding)).tolist() elmo_result = f"Average of layers' embeddings at position {index_of_word}: {avg_layer_embd}" else: elmo_result = f"'{word}' does not appear in the given sentence." return {"Word2Vec": wv_result, "Contextual_Elmo": elmo_result} ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值