ELMo——一种新型的词嵌入方法

目录

 

一、概要

二、双向语言模型

三、线性组合

---

一、概要

英语论文原文参考链接：https://pan.baidu.com/s/1g7lKZoefFmNy8GXgH5CDNg 密码：hq2n

英文论文名称：《Deep contextualized word representations》

ELMo为复杂词语应用（语法或语义）和语言语义建模（例如一词多义）。这句话我也不好翻译，现贴出英文原文供大家参考：

                            

简单来说，ELMo模型以双向语言模型为基础，用各层之间的线性组合来表示词向量的一种方式。下文中会详细介绍什么是双向语言模型和为什么以及如何进行线性组合。

二、双向语言模型

考虑给定的N个词组