ELMo算法介绍

最新推荐文章于 2024-09-08 09:00:00 发布

triplemeng

最新推荐文章于 2024-09-08 09:00:00 发布

阅读量5.5w

点赞数 14

分类专栏：句子嵌入 embedding ELMo 句子embedding 文章标签： ELMo contextual embedding deep contextualized word repre

本文链接：https://blog.csdn.net/triplemeng/article/details/82380202

版权

本文详细介绍了ELMo算法，它通过双向语言模型产生深度上下文化的词向量，用于增强NLP任务的性能。ELMo的特性在于每个词的表示依赖于整个输入序列，通过在预训练的双向LSTM上计算所有层的内部状态来捕获语法和语义信息。实验表明，使用多层ELMo表示优于仅使用最后一层，并且在多个NLP任务中取得了显著的提升。

摘要由CSDN通过智能技术生成

这篇介绍一下ELMo算法(论文)。按道理应该加入前面的《关于句子embedding的一些工作简介》系列，但是严格来讲，只能说它通过自己产生的word embedding来影响了句子embedding, 所以干脆另写一篇吧。

Introduction

作者认为好的词表征模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep contextualized word representation 方法来解决以上两个问题。

这种算法的特点是：每一个词语的表征都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bidirectional LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。为了应用在下游的NLP任务中，一般先利用下游任务的语料库(注意这里忽略掉label)进行language model的微调,这种微调相当于一种domain transfer; 然后才利用label的信息进行supervised learning。

ELMo表征是“深”的，就是说它们是biLM的所有层的内部表征的函数。这样做的好处是能够产生丰富的词语表征。高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低层的LSTM可以找到语法方面的特征(比如可以做词性标注)。如果把它们结合在一起，在下游的NLP任务中会体现优势。

Bidirectional language models

ELMo顾名思义是从Language Models得来的embeddings，确切的说是来自于Bidirectional language models。具体可以表示为：
这里写图片描述
和

这里的 $(t_1, t_2, ..., t_N)$ 是一系列的tokens
作为语言模型可能有不同的表达方法，最经典的方法是利用多层的LSTM，ELMo的语言模型也采取了这种方式。所以这个Bidirectional LM由stacked bidirectional LSTM来表示。