Encoder-decoder 与Decoder-only 模型之间的使用区别

承接上文：Transformer Encoder-Decoer 结构回顾
笔者以huggingface T5 transformer 对encoder-decoder 模型进行了简单的回顾。

由于笔者最近使用decoder-only模型时发现，其使用细节和encoder-decoder有着非常大的区别；而huggingface的接口为了实现统一化，很多接口的使用操作都是以encoder-decoder的用例为主（如T5），导致在使用hugging face运行decoder-only模型时（如GPT，LLaMA），会遇到很多反直觉的问题。

本篇进一步涉及decoder-only的模型，从技术细节上，简单列举一些和encoder-decoder模型使用上的区别。

以下讨论均以huggingface transformer接口为例。

1. 训练时input与output合并

对于encoder-decoder模型，我们需要把input和output 分别 喂给模型的encoder和decoder。也就是说，像T5这种模型，会有一个单独的encoder编码input的上下文信息，由decoder解码output和计算loss。简而言之，如果是encoder-decoder模型，我们 只把 output喂给decoder（用于计算loss，teacher forcing），这对于我们大多是人来说是符合直觉的。

但decoder-onyl模型，需要你手动地将input和output合并在一起，作为decoder的输入。因为，从逻辑上讲，对于decoder-only模型而言，它们并没有额外的encoder去编码input的上下文，所以需要把input作为“前文”，让decoder基于这一段“前文”，把“后文”的output预测出来（auto regressive&#