组会 | Transformer 中有意思的部分

---

⚠️ 本博客只记录了 Transformer 中有意思的部分

1 层归一化

• Transformer 中的 “Norm” 指的是层归一化操作，它作用在当前层的输出上，以标准化下一层的输入，从而加速和稳定模型的训练过程。
• 由于不同样本的长度可能不同，因此 Transformer 使用的是层归一化，而不是批量归一化。

批量归一化和层归一化：

• 维度 N 表示样本个数，维度 C 表示通道个数，维度 T 表示特征个数
• 批量归一化：对不同样本的同一通道做归一化（对应于 (a) 中蓝色部分）
• 层归一化：对同一样本的不同通道做归一化（对应于 (b) 中蓝色部分）

个人理解：在 NLP 中，一句话为一个样本，句中的一个单词为一个特征，词向量的维度等于通道个数。

当样本长度不同时：

• 如下图所示，当 $\mathrm{T}>4$ 时，只有一个样本还有特征，而基于单个样本的统计信息不能反映全局分布，因此 BN 效果不好；
• 若在模型测试阶段，存在 $\mathrm{T}$ 值大于任一训练样本的测试样本，则无法找到相应的、基于训练集的归一化统计量，因此 BN 无法运行。

此处引用自：模型优化之 Layer Normalization（https://zhuanlan.zhihu.com/p/54530247）

2 前馈子层

• 前馈子层提供了非线性变换，使得 Transformer 不仅依赖于线性变换，还可以通过 ReLU 等非线性激活函数捕获复杂的模式，提升了模型对多样性数据的表达能力。
• 前馈子层的计算成本较低，能与自注意力机制并行处理，大大提高了 Transformer 的效率。

3 多头注意力机制

• 多头注意力采用多组可学习参数，提供多种注意力分配结果（最后进行融合）
• 类似于 CV 中的多尺度，提供不同的感受野（最后进行融合）

4 Vision Transformer (ViT)

4.1 提出背景

• Transformer 在 NLP 领域取得了极大的成功，因此 CV 领域也希望通过 Transformer 来获得性能上的进一步提升。
• 由于 Transformer 所处理的输入是一维的序列，而图片是二维的，因此需要对图片进行展开，但这也导致了输入序列的长度呈平方级的增长。

4.2 模型结构

上图流程如下：

• 将原始图片切割为 $16\times 16$ 的块；
• 将每个块展平为一维向量；
• 加入 $[\mathsf{class}]$ 标志位（$\ast$），并引入位置编码（$0,...,9$）；
• 将处理得到的结果输入 Transformer 的编码器；
• 将编码得到的结果输入 MLP 层；
• 根据 $[\mathsf{class}]$ 标志位得出预测结果，即该图片属于哪个类别。

上图公式如下：

$$\begin{array}{rlr}{\text{z}}_0& =[{\text{x}}_{\text{class}};{\text{x}}_p^1\text{E};{\text{x}}_p^2\text{E};\cdots ;{\text{x}}_p^N\text{E}]+{\text{E}}_{pos},& \text{E}\in {\mathbb{R}}^{(P^2\cdot C)\times D},{\text{E}}_{pos}\in {\mathbb{R}}^{(N+1)\times D}\\ {\text{z}}_{\ell }^{\prime }& =\text{MSA}(\text{LN}({\text{z}}_{\ell -1}))+{\text{z}}_{\ell -1},& \ell =1\dots L\\ {\text{z}}_{\ell }& =\text{MLP}(\text{LN}({\text{z}}_{\ell }^{\prime }))+{\text{z}}_{\ell }^{\prime },& \ell =1\dots L\\ \text{y}& =\text{LN}({\text{z}}_L^0)& \end{array}\text{\hspace{1em}(1)(2)(3)(4)}$$

⚠️ 对公式含义的说明

• ${\text{x}}_{\text{class}}$ 是指 $[\mathsf{class}]$ 标志位；
• ${\text{x}}_p^1\text{E}$ 是指通过参数矩阵 $\text{E}$ 将块 ${\text{x}}_p^1$ 展平；
• $\text{LN}()$ 是指层归一化，$\text{MSA}()$ 是指多头注意力；
• $+{\text{z}}_{\ell -1}$ 和 $+{\text{z}}_{\ell }^{\prime }$ 都是指残差连接；
• ${\text{z}}_L^0$ 是指第 $L$ 层输出的第 $0$ 个元素，即 $[\mathsf{class}]$ 标志位。

4.3 [class] 标志位

• [class] 是一个固定的向量，采用随机初始化。
• [class] 被添加到输入序列中作为开头，并在编码器中与图片的块一起被处理。
• 通过自注意力机制，[class] 能够聚合所有块的信息，并作为图片的全局表示用于最终的分类预测。
• 相对于直接在所有块上进行聚合，[class] 提供了一种集中的特征表示，简化了分类过程。

此处 ViT 借用了 BERT 的思想