李宏毅-ELMO, BERT, GPT讲解笔记

背景知识

NLP 中词的表示

1. one-hot embedding(1-of-N Encoding)

缺点：词汇之间的关联没有考虑，因为不同词之间的距离都是一样的

2. word class
3. word embedding(word2vec)

缺点：一词多义的问题无法解决

Have you paid that money to the bank yet?

They stood on the river bank to fish.

上面两句话中的 bank 显然不是同一意思，因此用同一个 embedding 并不合适

Contextualized Word Embedding

根据上下文语境的不同，同一个单词 bank 我们希望能够得到不同的 embedding。如果 bank 的意思是银行，我们期望它们之间的 embedding 能够相近，同时能够与河堤意思的 bank 相距较远。

ELMO

ELMO 是 Embeddings from Language Model 的简称，ELMO 是《芝麻街》中的一个角色。它是一个 RNN-based 的语言模型，其任务是学习句子中的下一个单词或者前一个单词是什么。

它是一个双向的 RNN 网络，左边是顺序的 RNN 从前向后预测下一个词是什么，右边是反向的 RNN 从后向前预测上一个词是什么。这样每一个单词都对应两个 hidden state，进行拼接便可以得到单词的 Embedding 表示。当同一个单词上下文不一样，得到的 embedding 就不同。

Deep Learning 往往能学到更好的效果，当使用深层网络的时候，每一层都会输出一个单词对应的 Embedding 表示，ELMO 的做法是——我全都要。

如上图所示，采用的是两层的 RNN 结构，每一层输出的 embedding 加权求和得到最后用于表示输入词（字）的embedding。每一层的权重是跟随下游任务一起进行学习得到的。

右下角展示在不同任务上每一层 embedding 的权重大小，Token 表示原始 embedding，可以看到不同任务不同层的权重是不同的。

BERT

框架结构

Bert 是 Bidirectional Encoder Representations from Transformers 的缩写，它也是芝麻街的人物之一。Transformer 中的 Encoder 就是 Bert 预训练的架构。李宏毅老师特别提示：如果是中文的话，可以把字作为单位，而不是词。

因为中文词语过于多了，难以用向量表示，而常见的字只有几千个

BERT：不需要标注，输入 sequence，输出每个 character 对应的 Embedding

Transformer：需要标注，输入 sequence，输出 sequence

训练方法

1. Masked LM

做法是随机把一些单词变为 Mask，让模型去猜测盖住的地方是什么单词。假设输入里面的第二个词汇是被盖住的，把其对应的 embedding 输入到一个多分类模型中，来预测被盖住的单词。这里预测出来的单词在语义上更为相近，“退了”、“退去”和“落了”放在 MASK 都可以，语义的表示十分相似。

2. Next Sentence Prediction

选择两句话，把两句话连起来。在两个句子的开头，放一个 [CLS] 标志符表示分类。中间加一个 [SEP] 作为两个句子的分隔符。[CLS] 标志符得到的 embedding 输入到二分类的模型，输出两个句子是不是可以接在一起。

实际中，同时使用两种方法往往得到的结果最好。

BERT 和 ELMO 区别

在 ELMO 中，训练好的 embedding 是不会参与下游训练的，下游任务会训练不同 embedding 对应的权重，但在 Bert 中，Bert 是和下游任务一起训练的：

BERT 应用

1. 文本分类

对于文本分类，在文本的前面加一个 [CLS] 分类符，把训练得到的 embedding 通过 Linear Classifier 得到分类结果。其中，Linear Classifier 的参数是从头开始训练的，而 BERT 的参数只需要微调（Fine-tune）

2. 单词分类（词性标注）

例如 Slot filling，得到一个句子中每个词的类别（属性）。将输入的句子得到的每个词的 embedding 通过 Linear Classifier 得到每个词对应的类别。

3. 自然语言推理任务

给定一个前提／假设，判断得到推论是否正确。输入两句话，第一句是前提，第二句是推理，训练给出推理结果是否正确。

4. 抽取式 QA

抽取式的意思是答案一定要在原文之中

输入一个原文和问题，输出两个整数 start 和 end，代表答案在原文中的起始位置和结束位置，两个位置中间的结果就是答案。

Bert 学到了什么

通过观察 Bert 每一层 embedding 对应的权重，了解不同的任务更需要 Bert 的哪些层。右边蓝色矩形的高度表示 embedding 的权重，高度越高表示任务对于这一层的权重越大。通过图片可以看到，随着自然语言处理任务变得更为复杂，更多的依赖更为深层的 embedding 表示。

ERNIE

ERNIE 也是芝麻街的人物，而且还是 Bert 的好朋友

在 BERT 模型中，通过『哈』与『滨』的局部共现，即可判断出『尔』字，模型没有学习与『哈尔滨』相关的知识。而 ERNIE 通过学习词与实体的表达，使模型能够建模出『哈尔滨』与『黑龙江』的关系，学到『哈尔滨』是『黑龙江』的省会以及『哈尔滨』是个冰雪城市。

GPT-2

GPT 是 Generative Pre-Training 的简称，但 GPT 不是芝麻街的人物。GPT-2 的模型非常巨大，它其实是 Transformer 的 Decoder。GPT-2 的参数数量接近 BERT 的 5 倍，参数巨大。

GPT-2 是 Transformer 的 Decoder 部分，输入一个句子中的上一个词，我们希望模型可以得到句子中的下一个词。

由于 GPT-2 的模型非常巨大，它在很多任务上都达到了惊人的结果，甚至可以做到 zero-shot learning（简单来说就是模型的迁移能力非常好），如阅读理解任务，不需要任何阅读理解的训练集，就可以得到很好的结果。GPT-2 可以自己进行写作。

有人用 GPT-2 较小的模型搭建了网站，可以实现给定输入自动扩展内容的功能。

输入“Winter is coming”，后面的文本自动生成。

参考资料

李宏毅-ELMO, BERT, GPT讲解（视频）

李宏毅 - ELMO、BERT、GPT 视频笔记