大语言模型训练技巧

10、Flash Attention

标准Attention的中间结果需要通过高带宽内存（HBM）进行存取，空间复杂度为O(N2)。随着输入序列长度的增加，标准Attention计算的时间和空间复杂度呈线性增长。FlashAttention通过减少以及加速对HBM的访问，实现运行加速。运行速度比标准Attention快 2-4 倍，所需内存减少5-20倍。

11、Multi Query Attention

通过让所有的Head之间共享同一份Key和Value矩阵，每个头只单独保留一份Query，从而实现参数量和计算量的减少。

12、相对位置编码

可以在较短的序列长度上训练，在较长的序列长度上推理，进而实现训练加速。例如ALiBi (Attention with Linear Bias)，RoPE (rotary positional embeddings)。

13、RMSNorm Normalization

分为Post-Norm和Pre-Norm。Post-Norm在残差连接后对参数归一化，对参数正则化更强。Pre-Norm在残差连接前对参数归一化，有一部分参数直接与后面的参数相加，因此没有对这部分参数进行正则化，可以防止梯度爆炸或消失。RMSNorm是Pre-Norm的一种，提高训练稳定性。

14、SwiGLU

通过架构搜索探索出的激活函数变体。其中，FFN的大小是hidden dimension的8/3倍，而常规FFN的大小是hidden dimension的4倍，减少了计算量。

、、、、、、、、、、、、、、、、、、、、、、、、、、、