Transformer 架构—Encoder-Decoder

文章目录

前言

一、Encoder 家族

1. BERT

2. DistilBERT

3. RoBERTa

4. XML

5. XML-RoBERTa

6. ALBERT

7. ELECTRA

8. DeBERTa

二、Decoder 家族

1. GPT

2. GPT-2

3. CTRL

4. GPT-3

5. GPT-Neo / GPT-J-6B

三、Encoder-Decoder 家族

1. T5

2. BART

3. M2M-100

4. BigBird

---

前言

最初的Transformer是基于广泛应用在机器翻译领域的Encoder-Decoder架构：

Encoder：

将由 token 组成的输入序列转成由称为隐藏状态（hidden state）或者上下文（context）的embedding向量组成的序列。

Decoder：

根据 Encoder 的隐藏状态迭代生成组成输出序列的 token。

从上图我们可以看到：

• 输入文本被 tokenized 成 token embedding。由于注意力机制不知道 token 的相对位置，因此我们需要一种方法将一些有关 token 位置的信息注入到输入中，以对文本的顺序性质进行建模。因此，token embedding 与包含每个 token  的位置信息的 position embedding 相组合。
• encoder 由一堆 encoder 层组成，类似于计算机视觉中堆叠的卷积层。decoder也是如此，它有自己的 decoder 层块。
• encoder 的输出被馈送到每隔 decoder 层，然后 decoder 生成序列中最可能的下一个 token 的预测。然后，此步骤的输出被反馈到 decoder 以生成下一个 token，依次类推，直到到达特殊的序列结束（End of Sequence，EOS）token。以上图为例，想象一下 decoder 已经预测了“Die”和“Zeit”。现在，它将根据这两个预测 token 以及所有 encoder 的输出来预测下一个 token “fliegt”。在下一步中，decoder 继续将“fliegt”作为附加输入。我们重复这个过程，直到 decoder 预测出 EOS token 或者达到最大输出长度限制。

Transformer 架构最初是为机器翻译等序列到序列任务而设计的，但 encoder 和 decoder 块很快就被改编为独立模型。尽管现在有数千种不同的 Transformer 模型，但大多数属于以下三种类型之一：

（1）Encoder-only

这些模型将文本输入序列转换为丰富的数字表示，非常适合文本分类或命名实体识别等任务。BERT（Bidirectional Encoder Representation Transformers）及其变体，例如 RoBERTa 和 DistilBERT，都属于此类架构。在该架构中为给定 token 计算的表示取决于左侧（token之前）和右侧（token之后）的上下文。所以通常称为双向注意力（bidirectional attention）。

（2）Decoder-only

用户给定一段文本提示，这些模型将通过迭代预测最可能出现的下一个单词来自动补充余下的文本。GPT（Generative Pretrained Transformer）模型系列属于此类。在该架构中为给定 token 计算的表示仅取决于左侧上下文。所以通常称为因果注意力（causal attention）或自回归注意力（autoregression attention）。

（3）Encoder-Decoder

它们用于对从一个文本序列到另一个文本序列的复杂映射进行建模，比如机器翻译和文本摘要。除了我们所看到的结合了 encoder 和 decoder