NLP学习笔记（ELMo）

IDEA

好的词表征模型应该同时兼顾两个问题：

1. 一是词语用法在语义和语法上的复杂特点；
2. 二是随着语言环境的改变，这些用法也应该随之改变。

每一个词语的表征都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bi-LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。

 在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了一个较好的解决方案。不同于以往的一个词对应一个向量，是固定的。在ELMo世界里，预训练好的模型不再只是向量对应关系，而是一个训练好的模型。使用时，将一句话或一段话输入模型，模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词，可以结合前后语境对多义词进行理解。比如appele，可以根据前后文语境理解为公司或水果。

前向lstm语言模型基础

给定一串长度为N的词条($t_1$,$t_2$,…,$t_N$)，前向语言模型通过对给定历史($t_1$,$t_2$,…,$t_N$)预测$t_k$进行建模

以“the cat sat on the mat”这句话为例。在某一个时刻$k$时，输入为the，输出cat的概率。过程是这里面包含了几步:

1. 将the转换成word embedding。所谓 word embedding就是一个n1维的列向量，这个很好理解。在本篇paper中，作者用的是 cnn-big-lstm生成的 word embedding，其实跟word2vec等也差不多，就是提前单独训练好的模型，模型喂入单词就能得到单词的word embedding。总之，在这里一步里，就是简单将单词转换成了n1的列向量作为$x_t$。
2. 将上一时刻的输出/隐状态$h$${}_k$${}_{-}$${}_1$及第一步中的word embedding一并送入LSTM，并得到输出及隐状态$h_k$。其中，隐状态$h$${}_k$${}_{-}$${}_1$是一个m*1的列向量。
3. 将LSTM的输出$h$${}_k$，与上下文