ELMo: Deep contextualized word representations

chansonzhang

已于 2023-03-02 10:01:07 修改

阅读量521

点赞数

分类专栏： NLP Papers NLP AI 文章标签：自然语言处理深度学习机器学习

于 2021-11-20 22:49:18 首次发布

本文链接：https://blog.csdn.net/chansonzhang/article/details/118691614

版权

NLP Papers 同时被 3 个专栏收录

54 篇文章 23 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

68 篇文章 2 订阅

订阅专栏

NLP

60 篇文章 1 订阅

订阅专栏

本文介绍了ELMo，一种基于预训练的双向语言模型的深度上下文词表示，它能显著提升六项NLP任务的SOTA。ELMo的词向量是根据biLM的所有内部层状态计算的，高层状态捕获语义信息，低层状态捕获句法信息。在下游任务中，通过学习特定任务的权重组合这些层，提高了模型性能。

摘要由CSDN通过智能技术生成

Abstract

本文介绍一种新型的上下文词表示可以建模：

词的复杂用法特征（例如句法或者语义特征）
在不同的语言上下文中的用法变化（例如多义词）

我们的词向量是学到的深度双向语言模型（biLM）内部状态的函数，这个 biLM 是在大量文本语料上预训练的结果。我们展示了这些表示可以很容易地加入已有的模型并在六项 NLP 任务上显著提升了 SOTA.

Introduction

预训练的词向量（Word2Vec, GloVe 等）是很多神经语言理解模型中的关键。
我们在大量文本语料上使用语言模型（LM）目标预训练一个双向 LSTM, 然后从中得到词向量。我们将这种词向量命名为 ELMo (Embeddings from Language Models). 与之前学习上下文词向量的方法不同，ELMo 是深度词向量，因为 ELMo 词向量是 biLM 所有内部层状态的函数。具体来说，我们对每个下游任务训练一个线性组合函数，这种方式明显地提升了模型的表现，即便是在只使用 LSTM 最后一层状态的情况下。

我们发现高层的 LSTM 状态能够捕获一些上下文相关的词义（例如可以直接用于词义消歧任务），而较低层的状态则能捕获一些句法上的信息（例如可以用来做 POS 标注）。同时使用这些层的状态大有好处，允许模型选择对每个任务最有用的半监督信号。

模型和代码：