Outputs (shifted right)是什么；Input，Input Embedding，Output ，Output Embedding举例说明

目录

Outputs (shifted right)是什么

解码器数据输出流程

Input Embedding 和Output Embedding是什么

Input，Input Embedding，Output ，Output Embedding举例说明

Input（输入）、Input Embedding（输入嵌入）、Output（输出）和Output Embedding（输出嵌入）

1. Input（输入）

2. Input Embedding（输入嵌入）

3. 模型处理

4. Output（输出）：第一个单词或前N个单词​编辑

5. Output Embedding（输出嵌入）

总结

---

Outputs (shifted right)是什么

解码器数据输出流程

1. 在自然语言处理中的含义（以语言模型为例）
   • 在语言模型中，“Outputs (shifted right)” 通常是指输出的一种处理方式。当模型生成文本序列（如句子）时，输出序列与输入序列在位置上有一个向右的偏移。
   • 例如，对于一个输入序列 “我爱自然语言处理”，如果是训练语言模型进行下一个单词预测，那么在生成输出时，会将真实的下一个单词序列（假设为 “是非常有趣的”）