【自然语言处理】Transformer中的一种线性特征

相关博客
【自然语言处理】【大模型】语言模型物理学 第3.3部分：知识容量Scaling Laws
【自然语言处理】Transformer中的一种线性特征
【自然语言处理】【大模型】DeepSeek-V2论文解析
【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM
【自然语言处理】BitNet b1.58：1bit LLM时代
【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer
【自然语言处理】【大模型】MPT模型结构源码解析(单机版)
【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)
【自然语言处理】【大模型】BLOOM模型结构源码解析(单机版)

论文名称：Your Transformer is Secretly Linear

论文地址：https://arxiv.org/pdf/2405.12250

一、简介

• 本文揭示了transformer decoder独有的一种线性特征。分析相邻层的embedding变换，发现其具有接近完美的线性关系。
• 由于transformer层输出的范数一直很小，当移除残差链接时，线性度下降。
• 实验显示，当移除特别接近于线性的模块或者使用线性近似这些模块，对loss或者模型表现几乎没有影响。
• 通过在预训练中引入基于cosine相似度的正则化项来降低层的线性度，改善了模型在TinyStories和SuperGLUE上的效果。

二、线性评分

​ 将Procrustes相似度推广到任意线性变换，从而实现了一种评估两组向量线性依赖程度的度量指标。

​ 令$X,Y\in {\mathbb{R}}^{n\times d}$表示embedding集合。为了计算线性评分，先计算规范化矩阵$\tilde{X}=$