大道至简？ETH研究团队提出简化版Transformer模型，综合效率明显提升

论文题目： Simplifying Transformer Blocks

论文链接：https://arxiv.org/abs/2311.01906

2023年，Transformer已经成为人工智能领域中最受欢迎的基础模型，如今火热的大型语言模型，多模态大模型均由不同类型的Transformer架构组成。与先前的CNN模型类似，Transformer同样遵循一个设计规范，即首先构造一个基础块，这个基础块通常由注意力块、MLP层、跳跃连接和归一化层构成，它们以特定的排列方式进行组合，随后对基础块进行堆叠形成最终的Transformer模型。不难看出，每个基础块的内部其实存在多种不同的排列方式，这种复杂性直接导致了整体架构的不稳定。

本文介绍一篇来自苏黎世联邦理工学院（ETH Zurich）计算机科学系的研究工作，本文从信号传播理论的角度重新审视了标准Transformer基础块的设计缺陷，并提出了一系列可以在不降低训练速度的情况下对基础块进行优化的方案。例如直接移除跳跃连接和调整投影层参数等操作来简化基础块，作者在自回归解码器和BERT编码器等具体模型上的实验表明，通过简化后的Transformer可以达到与标准Transformer的相当的训练速度和性能，同时训练吞吐量提高了15%，使用的参数减少了 15%。

01. 引言

简单来说，本文的研究目的是探究Transformer基础块中各个组件的必要性，包括跳跃连接、投影矩阵、自注意力和归一化层等。从信号传播理论层面出发，本文的工作突出了信号传播的优势和目前的局限性，信号传播理论研究了神经网络参数初始化时网络内部几何信息的演化，其通过捕捉对不同层表征之间计算内积的方式来提高模型性能。然而，目前的理论往往只考虑模型的前向传递过程，而忽略了研究网络动态训练过程中的信息传递，例如跳跃连接对训练速度的益处。

从模型实际落地方面考虑，目前数十亿参数级别的参数规模已经逐渐成为大模型入门的门槛，如果能移除掉一些