Transformer分类

Transformer目前分为三类

类型	定义	场景	样例
仅编码器的基础模型（Encoder-only Foundation Models）/自动编码器 (Autoencoding)。	在预训练的过程中，掩码语言模型会随机掩盖输入 token，并尝试预测被掩盖的 token。模型利用输入的双向表示来理解 token 的完整上下文，而不仅仅是序列中前面的 token。	仅编码器模型适合的业务场景是：利用编码器生成 embeddings 的语言任务，例如文本分类等。这一类的模型，对文本生成这种生成类型的任务不太有用。Embeddings 输出也适用于语义相似性搜索，这是一种超越简单关键词搜索的高级文档搜索算法。	BERT模型
仅解码器的基础模型（Decoder-only Foundation Models）/自回归模型（Autoregressive）	这一类模型，使用了单向因果语言模型 (CLM, causal language modelling) 进行预训练。CLM 只使用之前的 token 预测下一个token，其他所有 token 都被掩盖住。	这些模型是生成任务的标准模型，包括文本生成、问答等景点场景	Amazon Titan、GPT、Falcon 和 Llama等等
既使用了编码器，又使用了解码器的基础模型（Encoder-decoder Foundation Models）/序列到序列模型（seq2seq）	这类基础模型（例如：FLAN-T5）使用称为“连续多token掩盖”进行预训练。然后，解码器尝试重建掩盖的token序列。	序列到序列模型可以用于翻译、文本摘要等任务。	T5 和其微调后的FLAN-T5 是著名的编码器-解码器的基础模型，用于广泛的生成性语言任务。

疑问

• 根据应用场景来看，为啥现在一个模型就能实现 问答、摘要、翻译等任务？