Transformer架构逐层深度解析：从输入到输出的完整计算过程-CSDN博客

Transformer模型（扩展阅读：Transformer 是未来的技术吗？-CSDN博客、初探 Transformer-CSDN博客）自2017年由Vaswani等人提出以来，已成为自然语言处理领域的基石性架构。本文将深入剖析Transformer的每一层结构，详细讲解从输入到输出的完整计算流程，不遗漏任何关键细节。

输入表示层：词嵌入与位置编码

Transformer的输入处理包含两个关键步骤：词嵌入和位置编码。

词嵌入(Word Embedding)

词嵌入将离散的词汇符号映射为连续的向量表示。假设词汇表大小为 $V$ ，嵌入维度为 $d_{model}$ ，则嵌入矩阵为：

$E \in \mathbb{R}^{V \times d_{\text{model}}}$

对于输入序列中的每个词 $x_i$ ，其嵌入向量为：

$e_i = E[x_i] \in \mathbb{R}^{d_{\text{model}}}$

计算示例：
假设：

词汇表大小 $V=10,000$
嵌入维度 $d_{model}=512$
输入序列["the", "cat"]，对应词汇索引 $x_1=5, x_2=20$

随机初始化嵌入矩阵E：

E = np.random.randn(10000, 512) * 0.02  # 标准差0.02的正态分布

获取词向量：

e1 = E[5]   # shape (512,)
e2 = E[20]  # shape (512,)

位置编码(Positional Encoding)

由于Transformer不包含循环或卷积结构，需要显式注入位置信息。位置编码使用不同频率的正弦和余弦函数：

$PE_{(pos,2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

$PE_{(pos,2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

其中 $pos$ 是位置， $i$ 是维度索引。最终输入表示是词嵌入和位置编码的逐元素和：

$h_i^0 = e_i + PE(pos_i)$

位置编码的设计使得模型可以学习到相对位置关系，且能够处理比训练时更长的序列。

计算示例：
计算pos=0(第一个词)的位置编码：

position = 0
d_model = 512
pe = np.zeros(512)
for i in range(0, 512, 2):
    denominator = np.power(10000, 2*i/d_model)
    pe[i] = np.sin(position / denominator)
    pe[i+1] = np.cos(position / (10000**(2*i/d_model)))

最终输入表示：

h1_0 = e1 + pe(pos=0)  # shape (512,)
h2_0 = e2 + pe(pos=1)  # shape (512,)
H_0 = np.stack([h1_0, h2_0])  # shape (2, 512)

编码器结构：多头注意力与前馈网络

Transformer编码器由N个相同层堆叠而成，每层包含两个子层：多头自注意力机制和位置全连接前馈网络。

多头自注意力机制(Multi-Head Self-Attention)

注意力基础计算

首先将输入 $h_i$ 通过线性变换得到查询(Q)、键(K)、值(V)向量：

$Q = hW^Q, \quad K = hW^K, \quad V = hW^V$

其中参数矩阵维度为：

$W^Q,W^K \in \mathbb{R}^{d_{\text{model}} \times d_k}, W^V \in \mathbb{R}^{d_{\text{model}} \times d_v}$

注意力分数计算（扩展阅读：来聊聊Q、K、V的计算-CSDN博客）：

$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

计算示例：
假设：

d_k = d_v = 64
h=8个头
当前输入H_0 shape (2,512)

初始化参数矩阵：

W_Q = np.random.randn(512, 64) * 0.1
W_K = np.random.randn(512, 64) * 0.1
W_V = np.random.randn(512, 64) * 0.1

计算Q,K,V：

Q = H_0 @ W_Q  # shape (2,64)
K = H_0 @ W_K  # shape (2,64)
V = H_0 @ W_V  # shape (2,64)

计算注意力分数：

attn_scores = Q @ K.T / np.sqrt(64)  # shape (2,2)
attn_weights = softmax(attn_scores)  # 按行softmax
output = attn_weights @ V  # shape (2,64)

多头注意力实现

多头注意力并行执行 $h$ 次不同的注意力计算：

$head_i=Attention(QW_i^Q,KW_i^K,VW_i^V)$

$\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O$

其中参数矩阵：

$W_i^Q \in \mathbb{R}^{d_{\text{model}} \times d_k}, W_i^K \in \mathbb{R}^{d_{\text{model}} \times d_k}, W_i^V \in \mathbb{R}^{d_{\text{model}} \times d_v}, W^O \in \mathbb{R}^{hd_v \times d_{\text{model}}}$

通常设置 $d_k = d_v = \frac{d_{model}}{h}$ ，保持计算量不变。

计算示例：
假设8个头的输出：

head1 = np.random.randn(2,64)  # 模拟第一个头输出
...
head8 = np.random.randn(2,64)  # 模拟第八个头输出
multi_head = np.concatenate([head1,...,head8], axis=-1)  # shape (2,512)
W_O = np.random.randn(512,512) * 0.1
output = multi_head @ W_O  # shape (2,512)

残差连接与层归一化

每个子层后都应用残差连接和层归一化：

$h' = \text{LayerNorm}(h + \text{Sublayer}(h))$

层归一化计算：

$\text{LayerNorm}(x) = \gamma \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta$

其中 $\mu$ 和 $\sigma$ 是均值和方差， $\gamma$ 和 $\beta$ 是可学习参数。

计算示例：
假设：

输入h shape (2,512)
子层输出sublayer_out shape (2,512)

残差连接：

residual = h + sublayer_out  # shape (2,512)

层归一化计算：

mean = np.mean(residual, axis=-1, keepdims=True)  # shape (2,1)
var = np.var(residual, axis=-1, keepdims=True)   # shape (2,1)
gamma = np.ones(512)  # 初始化为1
beta = np.zeros(512)  # 初始化为0
h_out = gamma * (residual - mean) / np.sqrt(var + 1e-5) + beta

位置全连接前馈网络(Position-wise FFN)

前馈网络对每个位置独立应用相同的两层全连接：

$\text{FFN}(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2$

其中参数维度：

$W_1 \in \mathbb{R}^{d_{\text{model}} \times d_{ff}}, W_2 \in \mathbb{R}^{d_{ff} \times d_{\text{model}}}$

通常 $d_{ff} = 4 \times d_{model}$ ，提供足够的表达能力。

计算示例：
参数设置：

d_ff = 2048
W1 = np.random.randn(512, 2048) * 0.1
b1 = np.zeros(2048)
W2 = np.random.randn(2048, 512) * 0.1
b2 = np.zeros(512)

计算过程：

x = np.random.randn(2,512)  # 输入
hidden = np.maximum(0, x @ W1 + b1)  # ReLU激活
output = hidden @ W2 + b2  # shape (2,512)

解码器结构：掩码自注意力与编码器-解码器注意力

解码器也由N个相同层堆叠，但包含三种子层：掩码自注意力、编码器-解码器注意力和前馈网络。

掩码自注意力(Masked Self-Attention)

为防止解码器看到未来信息，在自注意力计算中应用掩码：

$\text{Mask}(x) = \begin{cases} x & \text{if } i \leq j \\ -\infty & \text{otherwise} \end{cases}$

计算时：

$\text{Attention}(Q,K,V) = \text{softmax}\left(Mask\left(\frac{QK^T}{\sqrt{d_k}}\right)\right)V$

计算示例：
假设解码器输入3个词：

Q = np.random.randn(3,64)
K = np.random.randn(3,64)
attn_scores = Q @ K.T / np.sqrt(64)  # shape (3,3)

应用掩码：

mask = np.triu(np.ones((3,3)), k=1)  # 上三角矩阵
masked_scores = attn_scores - 1e9 * mask  # 未来位置设为-∞
attn_weights = softmax(masked_scores)  # 按行softmax

编码器-解码器注意力(Encoder-Decoder Attention)

此处的查询来自解码器前一层的输出，而键和值来自编码器的最终输出：

$Q = h_{dec}W^Q, \quad K = h_{enc}W^K, \quad V = h_{enc}W^V$

这使得解码器可以关注输入序列的相关部分。

输出层：线性变换与softmax

最终输出层将解码器输出转换为预测词的概率分布：

线性变换：将 $d_{model}$ 维向量映射到词汇表大小 $V$

$z=hW_z+b_z \quad W_z \in \mathbb{R}^{d_{model} \times V}$

Softmax归一化：

$p(x) = \text{softmax}(z) = \frac{e^{z_i}}{\sum_{j=1}^V e^{z_j}}$

计算示例：
假设：

解码器最后输出 shape (3,512)
词汇表V=10000

W_out = np.random.randn(512, 10000) * 0.1
logits = decoder_output @ W_out  # shape (3,10000)
probs = softmax(logits, axis=-1)  # 得到每个词的概率分布

关键技术与优化细节

缩放点积注意力

缩放因子 $\frac{1}{\sqrt{d_k}}$ 防止点积过大导致softmax梯度消失：

$\frac{QK^T}{\sqrt{d_k}}$

多头注意力的优势

多头机制允许模型：

在不同位置共同关注来自不同表示子空间的信息
学习多种依赖关系模式（如局部/全局、语法/语义）

残差连接的作用

残差连接：

缓解深层网络梯度消失问题
使模型能够学习恒等映射，保留原始信息

层归一化的位置

Transformer采用后归一化(Post-LN)：

归一化在残差连接之后进行
相比前归一化(Pre-LN)训练更稳定，但需要更仔细的参数初始化

数学视角下的完整前向传播

给定输入序列 $X=(x_1,...,x_n)$ ，完整计算流程：

输入嵌入：

$H^0 = [e_{x_1}+PE(1), \ldots, e_{x_n}+PE(n)]^T$

编码器每层 $l=1...L$ 计算：

$\tilde{H}^l = \text{MHA}(\text{LN}(H^{l-1})) + H^{l-1}$

$H^l = \text{FFN}(\text{LN}(\tilde{H}^l)) + \tilde{H}^l$

解码器每层 $l=1...L$ 计算：

$\tilde{D}^l = \text{MMHA}(\text{LN}(D^{l-1})) + D^{l-1}$

$\hat{D}^l = \text{MHA}(\text{LN}(\tilde{D}^l), H^L) + \tilde{D}^l$

$D^l = \text{FFN}(\text{LN}(\hat{D}^l)) + \hat{D}^l$

输出概率：

$p(y_t|y_{<t},X) = \text{softmax}(W_o D^L_t)$

扩展讨论：Transformer的变体与改进

高效注意力机制

原始自注意力复杂度O(n²)限制了长序列处理，改进包括：

稀疏注意力(如Longformer)
局部窗口注意力(如Swin Transformer)（扩展阅读：从Transformer到Swin Transformer：视觉领域架构演进与技术突破分析-CSDN博客）
低秩近似(如Linformer)

位置表示的改进

相对位置编码(如Transformer-XL)
可学习的位置嵌入
旋转位置编码(RoPE)

模型架构演进

编码器-解码器(BERT/GPT)
仅解码器(GPT系列)
仅编码器(BERT)

结语

Transformer架构通过自注意力机制实现了强大的序列建模能力，其精心设计的各层组件协同工作，克服了传统RNN/CNN的局限性。理解每一层的数学细节对于模型调优和架构创新至关重要。随着研究的深入，Transformer仍在不断演进，但其核心思想将继续影响深度学习的发展方向。