【NLP】ELMO语言模型

ELMO的全称是Embedding from Language Model，出自Deep contextualized word representations这篇论文。这个模型是RNN-based模型，从大量的句子中进行训练。

举个简单的例子，给了一个句子：“潮水 退了 就知道 谁没穿裤子”，那么就要告诉模型输入< BOS >就要输出“潮水”，输入“潮水”就要输出“退了”…如下图所示：

通过这样的训练方式，就能将RNN输出的hidden state作为该输入所对应的contextual embedding（考虑了上下文语境的表达）。

为什么说得到的embedding是考虑了上下文的呢？举个例子，“高烧 退了”和“臣 退了”，模型一定会将第一个词考虑进去，才能得到下一个预测的词。同样都是“退了”，但是其包含的意思并不相同。

这样做只考虑到了前文，没有考虑到后文，那么再构建一个反向的RNN，通过后面的词来预测前面的词，这样就让每一个词的embedding考虑到了后文的语境。上下文不一样，就会得到不同的embedding。

现在的RNN模型可能是多层的，如下图，那么每一层都会得到这样的embedding，我们应该以什么为准？

在ELMO中，这些得到的embedding，它全都要。这里用到的方式是weighted-sum，也就是将两层RNN得到的embedding加权求和。

下面是weighted-sum，其中${\alpha }_1,{\alpha }_2$都是从下游任务中学出来的！所以不同的下游任务，会有不同的参数权重。