Transformer模型中，Encoder（编码器）和Decoder（解码器）

目录

Transformer 中的 Encoder 作用

Transformer模型中，Encoder（编码器）和Decoder（解码器）

Encoder的作用

Decoder的作用

文本摘要：简单举例

机器翻译：简单举例

---

1. Transformer 中的 Encoder 作用

   • 功能概述：
     • Encoder 主要用于对输入序列进行特征提取和信息编码。它将输入序列（如句子）转换为一系列连续的向量表示，这些向量包含了输入序列的语义和语法信息，并且能够捕捉序列中各个元素之间的关系。
   • 简单示例（以机器翻译为例）：
     • 假设我们要将英文句子 “I love natural language processing” 翻译为中文。
     • 首先，Encoder 会接收英文句子作为输入，将句子中的每个单词（“I”“love”“natural”“language”“processing”）转换为词向量，并且结合位置编码（用于表示单词在句子中的位置信息）。
     • 然后，通过多个 Transformer 层中的自注意力机制（Self - Attention）和前馈神经网络（Feed - Forward Network）来处理这些向量。自注意力机制会计算