Transformer家族

在《Transformer原理》中我们介绍了，现在很多大模型都是基于Transformer，其中最出名就是GPT和BERT模型，在GPT和BERT模型被提出来之后，NLP领域也出现了基于Transformer结构的模型，按照模型结构基本可以分为三类：

• 纯Encoder模型（典型代表BERT，仅使用Transformer中的编码器），又称为自编码（auto-encoding）Transformer模型。

• 纯Decoder模型（典型代表GPT，仅使用Transformer中的解码器），又称为自回归（auto-regressive）Transformer模型。

• Encoder-Decoder模型（典型代表BART、T5），又称为Seq2Seq（sequence-to-sequence）Transformer模型。

  
  

  
  

  
  

1 纯Encoder分支

纯Encoder模型通常是通过遮掩句子中的任意词语，让模型进行预测，它通常比较适用于理解整个句子语的任务比如句子分类、命名实体识别、情感分析。在预测的时候是可以看到所有输入词。