【Transformer】 Decoder 的结构、训练和推理过程

最新推荐文章于 2025-06-06 14:20:35 发布

小波才露尖尖角

最新推荐文章于 2025-06-06 14:20:35 发布

阅读量908

点赞数 19

CC 4.0 BY-SA版权

文章标签： transformer 深度学习人工智能

本文链接：https://blog.csdn.net/2504_90578160/article/details/147675318

Transformer 模型自提出以来，彻底改变了自然语言处理（NLP）领域。它的核心由 Encoder 和 Decoder 两部分组成，其中 Decoder 在生成任务（如机器翻译、文本生成）中扮演着至关重要的角色。本文将深入浅出地介绍 Decoder 的结构、训练和推理过程。

Decoder 是 Transformer 中负责生成目标序列的部分。它的结构与 Encoder 类似，但有一些关键区别：

Masked Self-Attention:

与 Encoder 的 Self-Attention 不同，Decoder 的 Self-Attention 是掩码的（Masked），即每个词只能关注它前面的词，而不能关注后面的词。这是为了确保生成过程是自回归的（即逐个生成词）。

Cross-Attention:

Decoder 还引入了 Cross-Attention，用于将 Encoder 的输出（源序列的表示）K、V矩阵与 Decoder 的输入Query矩阵一起进行多头交叉注意力机制。这使得 Decoder 能够利用源序列的信息生成目标序列。
注意：encoder block 有6个，只有最后一层的输出作为每个decoder bolck的输入

前馈神经网络（Feed-Forward Network, FFN）:

每个 Decoder 层还包含一个前馈神经网络，相当于一个夹心饼干🍪，先升维度再降低维度，在增加模型表现力的情况下，保证输出的维度和输入统一，方便进入下一个decoder block块中处理

输入:

输出:

在训练阶段，Decoder 使用 Teacher Forcing 技术：

核心思想：训练时在解码时使用真实的目标序列作为输入，而非模型自身生成的输出

输入输出格式：假设目标序列（标准输出）是 i have a cat，在训练时：
- 解码器输入（dec_inputs）：会在序列开头添加起始符（如 <sos>），即 <sos> i have a。
- 解码器真实输出（dec_outputs）：会移除起始符，即 i have a cat，每个词对应一个预测位置。
预测过程：模型在每个位置（时间步）预测下一个词：
- 输入 <sos> → 预测 i
- 输入 <sos> i → 预测 have
- 输入 <sos> i have → 预测 a
- 输入 <sos> i have a → 预测 cat

每个位置的预测会与真实标签对比，计算交叉熵损失（CrossEntropyLoss）。

在训练时，目标序列需要向右移动一位（即 Shift Right），并在开头添加 <sos>。这样做的目的是确保 Decoder 在生成每个词时，只能看到它前面的词，而不能看到它后面的词。这是通过掩码（Mask）实现的。

在推理阶段，Decoder 是自回归的：

模型逐个生成词，每次生成一个词后，将其作为输入用于生成下一个词。
例如，模型首先生成 "i"，然后输入 "i" 生成 "have"，接着输入 "i have" 生成 "a"，最后输入 "i have a"生成 "cat"。
推理过程与训练过程不一致，因为模型在推理时只能使用自己生成的词作为输入，而不是真实标签。