算法面试之生成模型BART、T5

BART

1.概述

使用标准的基于Transformer的序列到序列结构
主要区别在于用GeLU激活函数替换了原始结构中的ReLU
以及参数根据正态分布W(0,0.02)进行初始化
通过对含有噪声的输入文本去噪重构进行预训练，是一种典型的去噪自编码器

BART的预训练过程可以概括为以下两个阶段。首先，在输入文本中引入噪声，并使用双向编码器编码扰乱后的文本；然后，使用单向的自回归解码器重构原始文本。需要注意的是，编码器的最后一层隐含层表示会作为“记忆”参与解码器每一层的计算。BART模型考虑了多种不同的噪声引入方式，其中包括BERT模型使用的单词掩码。需要注意的是，BERT模型是独立地预测掩码位置的词，而BART模型是通过自回归的方式顺序地生成。

2.预训练任务

BART模型考虑了以下五种噪声引入方式：
(1)单词掩码
与BERT模型类似，在输入文本中随机采样一部分单词，并替换为掩码标记（如[MASK]):
(2)单词删除
随机采样一部分单词并删除。要处理这类噪声，模型不仅需要预测缺失的单词，还需要确定缺失单词的位置；
(3)句子排列变换
根据句号将输入文本分为多个句子，并将句子的顺序随机打乱。为了恢复句子的顺序，模型需要对整段输入文本的语义具备一定的理解能力；
(4)文档旋转变换
随机选择输入文本中的一个单词，并旋转文档，使其以该单词作为开始。为了重构原始文本，模