NLP12：预训练模型之ELMO

公众号：数据挖掘与机器学习笔记

1.简介

ELMO是一种深层的上下文单词表示模型，它可以同时建模：

(1) 单词使用的复杂特征（例如语法和语义），也就是能够学习到词汇用法的复杂性

(2)这些用法如何在语言上下文之间变化（即建模多义性）

词向量是深度双向语言模型(deep bidirectional language model,BILM)内部状态的可学习函数，这些双向语言模型在大型文本语料库上进行了预训练。可以将这些预训练的词向量添加到现有模型中，能够显著改善NLP问题(问答、文本蕴含、情感分析等)的解决效果。

2.ELMO的显著特征

• 依赖于上下文(Contextual):每个单词的表示形式最终取决于使用该单词的整个上下文。
• 深(deep):单词的向量表示结合了深度预训练神经网络的所有层。
• 基于字符(Character based):ELMO模型的训练完全基于字符，因此网络可以使用形态学线索来为训练中未曾见过的词汇标记成可靠的表示。

3.双向语言模型

前向语言模型就是，已知$(t_1,t_2,\dots ,t_{}$