NLP基础（八）：ELMO和GPT模型

1.ELMo

ELMo（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图：

其中，前向语言模型：

后向语言模型：

目标函数最大化：

优点是解决了一词多义，在一些任务上有提升。

缺点是LSTM串行，训练成本大，LSTM对长距离的提取特征不如Transformer。

2.GPT

GPT（Generative Pre-Training）是使用Transformer的Decoder部分的预训练模型，架构如下：

无监督训练：

有监督微调：

参考资料
[1]Deep contextualized word representations
[2]Improving Language Understandingby Generative Pre-Training