Transformer三种模型解释

链接：https://www.zhihu.com/question/614100982/answer/3482741161

 

总共有三种不同分类的生成式 Transformer 模型：仅编码器(encoder-only)、仅解码器(decoder-only) 和编码器-解码器(encoder-decoder)。每类模型都使用了不同的训练目标进行过训练，以解决不同类型的生成任务。

仅编码器的基础模型（Encoder-only Foundation Models）/自动编码器 (autoencoder)。

这一类的模型，使用了一种名为 掩码语言模型 (MLM) 的技术进行了预训练。在预训练的过程中，掩码语言模型会随机掩盖输入 token，并尝试预测被掩盖的 token。模型利用输入的双向表示来理解 token 的完整上下文，而不仅仅是序列中前面的 token。

仅编码器模型适合的业务场景是：利用编码器生成 embeddings 的语言任务，例如文本分类等。这一类的模型，对文本生成这种生成类型的任务不太有用。这类基础模型有代表性的是 BERT模型等。

Embeddings 输出也适用于语义相似性搜索，这是一种超越简单关键词搜索的高级文档搜索算法。

仅解码器的基础模型（Decoder-only Foundation Models）/自回归模型

这一类模型，使用了单向因果语言模型 (CLM, causal language modelling) 进行预训练。CLM 只使用之前的 token 预测下一个token，其他所有 token 都被掩盖住。

仅解码器模型通过连续地从前面的token预测下一个token，来学习统计语言表示。这些模型是生成任务的标准模型，包括文本生成、问答等景点场景。著名的仅解码器模型包括：Amazon Titan、GPT、Falcon 和 Llama等等。

既使用了编码器，又使用了解码器的基础模型（Encoder-decoder Foundation Models）/序列到序列模型

这类基础模型（例如：FLAN-T5）使用称为“连续多token掩盖”进行预训练。然后，解码器尝试重建掩盖的token序列。

序列到序列模型可以用于翻译、文本摘要等任务。T5 和其微调后的FLAN-T5 是著名的编码器-解码器的基础模型，用于广泛的生成性语言任务。

生成模型（Generative Models）

具有编码器-解码器和仅解码器架构的模型都被称为生成模型（Generative Models），因为它们能够创建新的内容。这些模型比仅编码器模型更复杂，训练成本也更高。

对于基础模型的入门者而言，如何自己亲自动手，部署基础模型到实践或者生产环境中，往往有些无所适从。别担心，亚马逊云科技提供了多种基础模型的快速部署服务和解决方案，比如：Amazon SageMaker JumpStart、Amazon Bedrock等等